Ondsindet indhold udnytter veje mellem platforme for at trives online, undergrave mådehold

Ondsindet COVID-19 onlineindhold – herunder racistisk indhold, desinformation og misinformation – trives og spredes online ved at omgå moderationsbestræbelserne på individuelle sociale medieplatforme, ifølge ny forskning offentliggjort i tidsskriftet Videnskabelige rapporter . Ved at kortlægge online hadklynger på tværs af seks store sociale medieplatforme, forskere ved George Washington University viser, hvordan ondsindet indhold udnytter stier mellem platforme, fremhæver behovet for, at sociale medievirksomheder genovervejer og justerer deres politikker for indholdsmoderering.

Anført af Neil Johnson, professor i fysik ved GW, forskerholdet satte sig for at forstå, hvordan og hvorfor ondsindet indhold trives så godt online på trods af betydelige moderationsbestræbelser, og hvordan det kan stoppes. Holdet brugte en kombination af maskinlæring og netværksdatavidenskab til at undersøge, hvordan online-hadsamfund skærpede COVID-19 som et våben og brugte aktuelle begivenheder til at tiltrække nye følgere.

"Indtil nu, at bremse spredningen af ​​ondsindet indhold online har været som at spille en omgang smæk-en-muldvarp, fordi et kort over online-had-multiverset ikke eksisterede, "Johnson, som også er forsker ved GW Institute for Data, Demokrati og politik, sagde. "Du kan ikke vinde en kamp, ​​hvis du ikke har et kort over slagmarken. I vores undersøgelse, vi lagde et første af sin slags kort over denne slagmark. Uanset om du ser på traditionelle hademner, såsom antisemitisme eller anti-asiatisk racisme omkring COVID-19, slagmarkskortet er det samme. Og det er dette kort over links inden for og mellem platforme, der er den manglende brik i forståelsen af, hvordan vi kan bremse eller stoppe spredningen af ​​online hadeindhold."

Forskerne begyndte med at kortlægge, hvordan hadklynger forbinder hinanden for at sprede deres fortællinger på tværs af sociale medieplatforme. Fokus på seks platforme – Facebook, VKontakte, Instagram, Gab, Telegram og 4Chan – holdet startede med en given hadeklynge og kiggede udad for at finde en anden klynge, der var stærkt forbundet med originalen. De fandt, at de stærkeste forbindelser var VKontakte til Telegram (40,83% af tværplatformsforbindelser), Telegram til 4Chan (11,09%), og Gab ind i 4Chan (10,90%).

Forskerne rettede derefter deres opmærksomhed mod at identificere ondsindet indhold relateret til COVID-19. De fandt, at sammenhængen i COVID-19-diskussionen steg hurtigt i de tidlige faser af pandemien, med hadklynger, der danner fortællinger og hænger sammen omkring COVID-19-emner og misinformation. For at undergrave moderationsbestræbelser fra sociale medieplatforme, grupper, der sendte hadebeskeder, brugte flere tilpasningsstrategier for at omgruppere på andre platforme og/eller komme ind på en platform igen, fandt forskerne. For eksempel, klynger ændrer ofte deres navne for at undgå opdagelse af moderators algoritmer, såsom vaccine til va$$ine. Tilsvarende antisemitiske og anti-LGBTQ-klynger tilføjer simpelthen strenge af 1'er eller A'er før deres navn.

"Fordi antallet af uafhængige sociale medieplatforme vokser, disse had-genererende klynger vil med stor sandsynlighed styrke og udvide deres forbindelser via nye links, og vil sandsynligvis udnytte nye platforme, som ligger uden for rækkevidde af USA og andre vestlige nationers jurisdiktioner." Johnson sagde. "Chancerne for at få alle sociale medieplatforme globalt til at arbejde sammen for at løse dette er meget små. Imidlertid, vores matematiske analyse identificerer strategier, som platforme kan bruge som en gruppe til effektivt at bremse eller blokere online hadindhold."

Baseret på deres resultater, holdet foreslår flere måder, hvorpå sociale medieplatforme kan bremse spredningen af ​​ondsindet indhold:

• Forlæng kunstigt de veje, som skadeligt indhold skal tage mellem klynger, øger chancerne for, at det bliver opdaget af moderatorer og forsinker spredningen af ​​tidsfølsomt materiale såsom våbenbeskyttet COVID-19 misinformation og voldeligt indhold.
• Styr størrelsen af ​​en online-hat-klynges støttebase ved at placere en hætte på størrelsen af ​​klynger.
• Introducer ikke-ondsindet, mainstream indhold for effektivt at udvande en klynges fokus.

"Vores undersøgelse viser en lighed mellem spredningen af ​​onlinehad og spredningen af ​​en virus, "Yonatan Lupu, en lektor i statskundskab ved GW og medforfatter på papiret, sagde. "Individuelle sociale medieplatforme har haft svært ved at kontrollere spredningen af ​​onlinehad, som afspejler de vanskeligheder, individuelle lande rundt om i verden har haft med at stoppe spredningen af ​​COVID-19-virussen."

Fremadrettet, Johnson og hans team bruger allerede deres kort og dets matematiske modellering til at analysere andre former for ondsindet indhold – inklusive våbengørelsen af ​​COVID-19-vacciner, hvor visse lande forsøger at manipulere mainstream-stemningen for at opnå nationalistiske gevinster. De undersøger også, i hvilket omfang enkeltskuespillere, herunder udenlandske regeringer, kan spille en mere indflydelsesrig eller kontrollerende rolle i dette rum end andre.