Hadefulde ytringer er stadig nemme at finde på sociale medier

Kort efter synagogeskyderiet i Pittsburgh, Jeg lagde mærke til, at ordet "jøder" var populært på Twitter. Som forsker og underviser på sociale medier, Jeg blev bekymret for, at volden ville sprede sig online, som det har gjort tidligere.

Den påståede synagogeskyttes aktivitet på det sociale medie Gab har gjort opmærksom på dette websteds rolle som et hadefyldt alternativ til mere almindelige muligheder som Facebook og Twitter. De er blandt de sociale medieplatforme, der har lovet at bekæmpe hadefulde ytringer og onlinemisbrug på deres websteder.

Imidlertid, da jeg udforskede onlineaktivitet i kølvandet på skyderiet, det blev hurtigt klart for mig, at problemerne ikke kun er på sider som Gab. Hellere, hadefulde ytringer er stadig let at finde på almindelige sociale medier, herunder Twitter. Jeg identificerede også nogle yderligere skridt, som virksomheden kunne tage.

Ufuldstændige svar på nye had-termer

Jeg havde forventet, at der ville dukke nye trusler op på nettet omkring skyderiet i Pittsburgh, og der var tegn på, at der skete. I et nyligt antisemitisk angreb, Nation of Islam-leder Louis Farrakhan brugte ordet "termit" til at beskrive jødiske mennesker. Jeg søgte efter dette udtryk, vel vidende, at racister sandsynligvis ville bruge den nye besværgelse som et kodeord for at undgå opdagelse, når de udtrykte antisemitisme.

Twitter havde ikke suspenderet Farrakhans konto i kølvandet på endnu en af ​​hans antisemitiske udtalelser, og Twitters søgefunktion foreslog automatisk, at jeg måske søgte efter udtrykket "termit spiser kugler." Det forvandler Twitters søgefelt til en billboard med hadefulde ytringer.

Virksomheden havde, imidlertid, tilsyneladende justeret nogle af sine interne algoritmer, fordi der ikke dukkede nogen tweets med antisemitisk brug af ordet "termit" op i mine søgeresultater.

Indlæg ubemærket i årevis

Mens jeg fortsatte mine søgen efter hadefulde ytringer og opfordringer til vold mod jøder, Jeg fandt endnu mere foruroligende beviser på mangler i Twitters indholdsmodereringssystem. I kølvandet på det amerikanske valg i 2016 og opdagelsen af, at Twitter blev brugt til at påvirke valget, selskabet sagde, at det investerede i maskinlæring for at "opdage og afbøde effekten på brugere af falske, koordineret, og automatiseret kontoaktivitet." Baseret på det, jeg fandt, disse systemer har ikke identificeret selv meget simple, klare og direkte voldelige trusler og hadefulde ytringer, der har været på siden i årevis.

Da jeg rapporterede et tweet i 2014, der gik ind for at dræbe jøder "for sjov, "Twitter fjernede det samme dag - men dets standard automatiske Twitter-meddelelse gav ingen forklaring på, hvorfor det havde været urørt i mere end fire år.

Hader spil systemet

Da jeg gennemgik hadefulde tweets, der ikke var blevet fanget efter alle de år, Jeg bemærkede, at mange ikke indeholdt nogen tekst - tweetet var bare et billede. Uden tekst, tweets er sværere for brugere, og Twitters egne had-identificerende algoritmer, at finde. Men brugere, der specifikt leder efter hadefulde ytringer på Twitter, kan derefter rulle gennem aktiviteten på de konti, de finder, ser endnu flere hadefulde beskeder.

Twitter ser ud til at være opmærksom på dette problem:Brugere, der rapporterer et tweet, bliver bedt om at gennemgå et par andre tweets fra den samme konto og indsende dem på samme tid. Dette ender med at udsætte noget mere indhold for at blive gennemgået, men giver stadig plads til, at nogle kan blive uopdaget.

Hjælp til kæmpende teknologigiganter

Da jeg fandt tweets, som jeg troede overtrådte Twitters politikker, Jeg anmeldte dem. De fleste af dem blev hurtigt fjernet, selv inden for en time. Men nogle åbenlyst stødende indlæg tog så lang tid som flere dage at komme ned. Der er stadig et par tekstbaserede tweets, der ikke er blevet fjernet, trods klart overtrædelse af Twitters politikker. Det viser, at virksomhedens indholdsgennemgang ikke er konsekvent.

Det kan se ud til, at Twitter bliver bedre til at fjerne skadeligt indhold, og at det fjerner en masse indhold og memes og suspenderer konti, men meget af den aktivitet er ikke relateret til hadefulde ytringer. Hellere, meget af Twitters opmærksomhed har været på, hvad virksomheden kalder "koordineret manipulation, "såsom bots og netværk af falske profiler drevet af regeringspropagandaenheder.

Efter min mening, virksomheden kunne tage et væsentligt skridt for at søge hjælp fra medlemmer af offentligheden, såvel som forskere og eksperter som mine kolleger og mig, at identificere hadefuldt indhold. Det er almindeligt, at teknologivirksomheder – inklusive Twitter – tilbyder betalinger til folk, der rapporterer sikkerhedssårbarheder i deres software. Imidlertid, alt virksomheden gør for brugere, der rapporterer problematisk indhold, er at sende en automatisk genereret besked med "tak". Forskellen i, hvordan Twitter behandler kodeproblemer og indholdsrapporter, leverer en besked om, at virksomheden prioriterer sin teknologi frem for sit fællesskab.

I stedet, Twitter kunne betale folk for at rapportere indhold, der viser sig at overtræde dets retningslinjer for fællesskabet, at tilbyde økonomiske belønninger for at udrydde de sociale sårbarheder i sit system, ligesom om disse brugere hjalp det med at identificere software- eller hardwareproblemer. En Facebook-direktør udtrykte bekymring for, at denne potentielle løsning kunne give bagslag og generere mere onlinehad, men jeg tror på, at belønningsprogrammet kunne struktureres og udformes på en måde, så det undgås.

Der skal gøres meget mere

Der er yderligere problemer med Twitter, der går ud over, hvad der er sendt direkte på dets eget websted. Folk, der sender hadefulde ytringer, drager ofte fordel af en nøglefunktion ved Twitter:Tweets evne til at inkludere links til andet internetindhold. Den funktion er central for, hvordan folk bruger Twitter, deling af indhold af fælles interesse fra hele nettet. Men det er også en metode til at distribuere hadefulde ytringer.

For eksempel, et tweet kan se helt uskyldigt ud, siger "Dette er sjovt" og giver et link. Men linket – til indhold, der ikke er lagt på Twitters servere – bringer en hadefyldt besked frem.

Ud over, Twitters indholdsmodereringssystem tillader kun brugere at rapportere hadefulde og truende tweets – men ikke konti, hvis profiler selv indeholder lignende beskeder. Nogle af disse beretninger – inklusive dem med profilbilleder af Adolf Hitler, og navne og Twitter-håndtag, der går ind for at brænde jøder – du må ikke engang sende tweets eller følge andre Twitter-brugere. Nogle gange kan de simpelthen eksistere for at blive fundet, når folk søger efter ord i deres profiler, igen gør Twitters søgefelt til et leveringssystem. Disse konti kan også – selvom det er umuligt at vide – bruges til at kommunikere med andre på Twitter via direkte besked, bruge platformen som en skjult kommunikationskanal.

Uden tweets eller anden offentlig aktivitet, det er umuligt for brugere at rapportere disse konti via standardindholdsrapporteringssystemet. Men de er lige så stødende og skadelige - og skal evalueres og modereres ligesom andet indhold på siden. Efterhånden som folk, der søger at sprede had, bliver mere og mere sofistikerede, Twitters retningslinjer for fællesskabet – men endnu vigtigere dets håndhævelsesindsats – skal indhente det, og følg med.

Hvis sociale medier ønsker at undgå at blive – eller forblive – vektorer for informationskrigsførelse og plager af hadefulde ideer og memer, de skal optrappe meget mere aktivt og, i det mindste, få deres tusinder af fuldtidsansatte til indholdsmoderering til at søge som en professor gjorde i løbet af en weekend.

Denne artikel er genudgivet fra The Conversation under en Creative Commons-licens. Læs den originale artikel.