Teknologi og regulering skal arbejde sammen for at bekæmpe hadefulde ytringer online

Online mobning, had og tilskyndelse er stigende, og nye tilgange er nødvendige for at tackle dem. Mens det australske senat gennemfører høringer for sin undersøgelse af cybermobning, den bør overveje en tostrenget tilgang til at bekæmpe problemet.

Først, regeringen bør følge Tysklands føring med at pålægge store sociale medievirksomheder økonomiske sanktioner, hvis de undlader at reducere mængden af ​​misbrugsindhold på deres platforme.

Sekund, vi skal udvikle måder til korrekt at identificere og måle mængden af ​​krænkende indhold, der sendes og fjernes, for at sikre, at virksomhederne overholder kravene.

I betragtning af mængden af ​​data på sociale medier, kunstig intelligens (AI) skal være en del af blandingen i at understøtte regulering, men vi har brug for en forståelse af dens begrænsninger.

Indvirkningen på ofrene

I 2015 Den australske advokat Josh Bornstein var offer for alvorligt onlinemisbrug i hænderne på en mand i USA, der efterlignede Bornstein og publicerede en racistisk artikel online i hans navn. Bornstein befandt sig efterfølgende i den modtagende ende af en byge af had fra hele verden.

Hændelsen var meget foruroligende for Bornstein, men cyberhat kan også have konsekvenser for samfundet som helhed. Handler under en kappe af anonymitet, den samme mand brugte en anden falsk identitet til at udgive sig som IS-tilhænger, der opfordrede til terrorangreb i Australien og andre vestlige lande. I december, han blev dømt i USA for terroranklager.

Bornstein efterlyser nu både regulering af sociale medievirksomheder af regeringer og juridiske midler for at muliggøre handling fra ofre.

Tyskland som reguleringsmodel

Ny lovgivning, der for nylig er indført i Tyskland, kræver, at virksomheder fjerner tydelige tilfælde af hadefulde ytringer inden for 24 timer.

Som svar, Facebook har ansat 1, 200 medarbejdere og entreprenører til mere effektivt at behandle rapporter om misbrug fra tyske brugere. Hvis virksomheden undlader at fjerne størstedelen af ​​sådant indhold inden for 24-timers grænsen, regulatorer kan pålægge bøder på op til 50 millioner euro (79 millioner dollars).

Disse love er ikke perfekte – inden for måneder efter at de er trådt i kraft, Tyskland overvejer allerede ændringer for at forhindre overdreven forsigtighed fra sociale medievirksomheder, der har en afkølende effekt på ytringsfriheden. Men den tyske tilgang giver os et vindue til, hvordan en stærk statslig reaktion på cybermobning ser ud.

Dette er kun spidsen for en modig ny verden af ​​teknologiregulering. Lovgivning om cybermobning kan ikke håndhæves, hvis vi ikke ved, hvor meget misbrug der bliver lagt ud på nettet, og hvor meget misbrugsplatforme fjerner. Vi har brug for værktøjer til at understøtte dette.

Anvendelse af kunstig intelligens

Hos Online Hate Prevention Institute (OHPI), vi har brugt de sidste seks år på både at tackle konkrete sager – herunder Bornsteins – og arbejdet på problemet med måling ved hjælp af crowdsourcing og kunstig intelligens-tilgange i verdensklasse.

Andre ser også på identifikation og måling som næste skridt. Antisemitism Cyber ​​Monitoring System (ACMS) – et nyt værktøj til at overvåge antisemitisme på sociale medier – har været under udvikling af Israels Diaspora Affairs Ministerium siden oktober 2016. Det vil blive lanceret på 2018 Global Forum for Combating Antisemitism i Jerusalem senere på måneden.

Værktøjet bruger tekstanalyse – en form for kunstig intelligens – og virker ved at søge på sociale medier efter ord, sætninger og symboler, der er blevet identificeret som indikatorer for muligt antisemitisk indhold. Værktøjet gennemgår derefter indholdet og genererer interaktive grafer.

Lignende tilgange er blevet brugt af World Jewish Congress og af Googles Conversation AI-projekt, men tilgangen har begrænset effektivitet, især når det anvendes på store sociale medier.

Data fra en måneds prøveversion af ACMS blev frigivet forud for systemets lancering. Mens softwaren promoveres som et stort skridt fremad i kampen mod cyberhat, selve dataene fremhæver alvorlige metodologiske og teknologiske begrænsninger, hvilket gør det mere en distraktion.

Begrænsninger af teknologien

En begrænsning ACMS har er at opdage misbrug, der bruger det kodede sprog, symboler og eufemismer, der i stigende grad favoriseres af det yderste højre.

En anden er, at ACMS kun overvåger indhold fra Facebook og Twitter. Youtube, som tegnede sig for 41 % af den online antisemitisme, der blev identificeret i en tidligere rapport, er ikke inkluderet. Det automatiserede system overvåger også kun indhold på engelsk, arabisk, fransk og tysk.

Hvad der er mere bekymrende er ministeriets påstand om, at de byer, der producerer den største mængde racistisk indhold, var Santiago (Chile), Dnipro (Ukraine), og Bukarest (Rumænien). Disse byer har primære sprog, softwaren ikke er programmeret til at behandle, alligevel har de på en eller anden måde overgået byer, hvis primære sprog softwaren behandler.

Af særlig bekymring for Australien er en graf med titlen Places of Interest:Level of Antisemitism by Location, der viser Brisbane som den højest rangerede engelsktalende by. Dette resultat er blevet forklaret med en senere afklaring, der tyder på, at antallet er en sammenlægning af globale likes, delinger og retweets, der involverede indhold, der oprindeligt blev sendt fra Brisbane. Dataene er derfor underlagt en stor grad af tilfældighed baseret på, hvilket indhold der tilfældigvis går viralt.

Advokater og dataforskere skal arbejde sammen

Der er plads til AI-baserede detektionsværktøjer, men deres begrænsninger skal forstås. Tekstanalyse kan identificere specifikke undergrupper af onlinehad, såsom hagekors; sprog relateret til Hitler, nazister, gaskamre og ovne; og antisemitiske temaer, der er fremtrædende blandt nogle ekstreme højre grupper. Men de er ikke en sølvkugleløsning.

Bevæger sig ud over identifikation, vi har brug for både advokater og dataforskere til at informere vores tilgang til regulering af onlinerum. Nye værktøjer til kunstig intelligens skal verificeres i forhold til andre tilgange, såsom crowdsourcede data fra offentligheden. Og eksperter skal gennemgå dataene for nøjagtighed. Vi er nødt til at udnytte ny teknologi til at understøtte reguleringsregimer, samtidig med at man undgår en form for mislykket robo-censur svarende til robo-gældsproblemerne, der plagede Centrelink.

Undersøgelsen om cybermobning er et vigtigt skridt, så længe det letter morgendagens løsninger, ikke kun dagens problemer.

Denne artikel blev oprindeligt publiceret på The Conversation. Læs den originale artikel.