Brugere stoler lige så meget på AI som mennesker for at markere problematisk indhold

Brugere af sociale medier kan stole lige så meget på kunstig intelligens (AI) som menneskelige redaktører til at markere hadefulde ytringer og skadeligt indhold, ifølge forskere ved Penn State.

Forskerne sagde, at når brugere tænker på positive egenskaber ved maskiner, såsom deres nøjagtighed og objektivitet, viser de mere tro på AI. Men hvis brugerne bliver mindet om maskinernes manglende evne til at træffe subjektive beslutninger, er deres tillid mindre.

Resultaterne kan hjælpe udviklere med at designe bedre AI-drevne indholdskuratorsystemer, der kan håndtere de store mængder information, der i øjeblikket genereres, samtidig med at man undgår opfattelsen af, at materialet er blevet censureret eller unøjagtigt klassificeret, sagde S. Shyam Sundar, James P. Jimirro professor of Media Effects i Donald P. Bellisario College of Communications og meddirektør for Media Effects Research Laboratory.

"Der er et stort behov for indholdsmoderering på sociale medier og mere generelt online medier," sagde Sundar, som også er tilknyttet Penn State's Institute for Computational and Data Sciences. "I traditionelle medier har vi nyhedsredaktører, der fungerer som gatekeepere. Men online er portene så vidt åbne, og gatekeeping er ikke nødvendigvis muligt for mennesker at udføre, især med mængden af ​​information, der genereres. Så med industrien i stigende grad i retning af automatiserede løsninger ser denne undersøgelse på forskellen mellem menneskelige og automatiserede indholdsmoderatorer i forhold til, hvordan folk reagerer på dem."

Både menneskelige og AI-redaktører har fordele og ulemper. Mennesker har en tendens til mere præcist at vurdere, om indhold er skadeligt, såsom når det er racistisk eller potentielt kan fremprovokere selvskade, ifølge Maria D. Molina, assisterende professor i reklame og public relations, Michigan State, som er førsteforfatter til undersøgelsen . Folk er dog ikke i stand til at behandle de store mængder indhold, der nu bliver genereret og delt online.

På den anden side, mens AI-redaktører hurtigt kan analysere indhold, har folk ofte mistillid til disse algoritmer til at komme med nøjagtige anbefalinger, ligesom de frygter, at oplysningerne kan censureres.

"Når vi tænker på automatiseret indholdsmoderering, rejser det spørgsmålet om, hvorvidt redaktører af kunstig intelligens påvirker en persons ytringsfrihed," sagde Molina. "Dette skaber en dikotomi mellem det faktum, at vi har brug for indholdsmoderering - fordi folk deler alt dette problematiske indhold - og samtidig er folk bekymrede over AI's evne til at moderere indhold. Så i sidste ende vil vi gerne vide, hvordan vi kan bygge AI-indholdsmoderatorer, som folk kan stole på på en måde, der ikke griber ind i den ytringsfrihed."

Gennemsigtighed og interaktiv gennemsigtighed

Ifølge Molina kan det at bringe mennesker og AI sammen i modereringsprocessen være en måde at opbygge et pålideligt modereringssystem på. Hun tilføjede, at gennemsigtighed - eller signalering til brugere, at en maskine er involveret i moderation - er en tilgang til at forbedre tilliden til AI. At tillade brugere at komme med forslag til AI'erne, som forskerne omtaler som "interaktiv gennemsigtighed", ser ud til at øge brugertilliden endnu mere.

For at studere gennemsigtighed og interaktiv gennemsigtighed, blandt andre variabler, rekrutterede forskerne 676 deltagere til at interagere med et indholdsklassificeringssystem. Deltagerne blev tilfældigt tildelt en af ​​18 eksperimentelle forhold, designet til at teste, hvordan kilden til moderation – AI, menneskelig eller begge dele – og gennemsigtighed – regelmæssig, interaktiv eller ingen gennemsigtighed – kan påvirke deltagerens tillid til AI-indholdsredaktører. Forskerne testede klassificeringsbeslutninger - om indholdet blev klassificeret som "markeret" eller "ikke markeret" for at være skadeligt eller hadefuldt. Det "skadelige" testindhold omhandlede selvmordstanker, mens det "hadefulde" testindhold omfattede hadefulde ytringer.

Blandt andre resultater fandt forskerne, at brugernes tillid afhænger af, om tilstedeværelsen af ​​en AI-indholdsmoderator påberåber sig positive egenskaber ved maskiner, såsom deres nøjagtighed og objektivitet, eller negative egenskaber, såsom deres manglende evne til at foretage subjektive vurderinger om nuancer i mennesker. sprog.

At give brugerne en chance for at hjælpe AI-systemet med at beslutte, om onlineinformation er skadelig eller ej, kan også øge deres tillid. Forskerne sagde, at undersøgelsesdeltagere, der føjede deres egne udtryk til resultaterne af en AI-udvalgt liste over ord, der blev brugt til at klassificere indlæg, stolede lige så meget på AI-redaktøren, som de stolede på en menneskelig redaktør.

Etiske bekymringer

Sundar sagde, at det at fritage mennesker for at gennemgå indhold går ud over blot at give arbejdere et pusterum fra en kedelig opgave. At ansætte menneskelige redaktører til opgaven betyder, at disse arbejdere bliver udsat for timevis med hadefulde og voldelige billeder og indhold, sagde han.

"Der er et etisk behov for automatiseret indholdsmoderering," sagde Sundar, som også er direktør for Penn State's Center for Social Responsible Artificial Intelligence. "Der er behov for at beskytte menneskelige indholdsmoderatorer - som yder en social fordel, når de gør dette - fra konstant eksponering for skadeligt indhold dag ud og dag ind."

Ifølge Molina kunne fremtidigt arbejde se på, hvordan man hjælper folk til ikke bare at stole på AI, men også til at forstå det. Interaktiv gennemsigtighed kan også være en vigtig del af forståelsen af ​​kunstig intelligens, tilføjede hun.

"Noget, der er virkelig vigtigt, er ikke kun tillid til systemer, men også at engagere folk på en måde, så de rent faktisk forstår AI," sagde Molina. "Hvordan kan vi bruge dette koncept med interaktiv gennemsigtighed og andre metoder til at hjælpe folk med at forstå AI bedre? Hvordan kan vi bedst præsentere AI, så det påkalder sig den rette balance mellem påskønnelse af maskinevne og skepsis over for dens svagheder? Disse spørgsmål er værdige til forskning ."

Forskerne præsenterer deres resultater i det aktuelle nummer af Journal of Computer-Mediated Communication . + Udforsk yderligere

Moderering af onlineindhold øger ansvarligheden, men kan skade nogle platformsbrugere