Vurdering af giftigheden af ​​Reddit-kommentarer

Ny forskning, offentliggjort i PeerJ Computer Science , som analyserer over 87 millioner indlæg og 2,205 milliarder kommentarer på Reddit fra mere end 1,2 millioner unikke brugere, undersøger ændringer i onlineadfærden hos brugere, der udgiver i flere fællesskaber på Reddit ved at måle "toksicitet".

Toksicitetsanalyse for brugeradfærd viste, at 16,11% af brugerne udgiver giftige indlæg, og 13,28% af brugerne udgiver giftige kommentarer. 30,68 % af brugerne, der udgiver indlæg, og 81,67 % af brugerne, der udgiver kommentarer, udviser ændringer i deres toksicitet på tværs af forskellige fællesskaber – eller subreddits – hvilket indikerer, at brugere tilpasser deres adfærd til fællesskabernes normer.

Undersøgelsen tyder på, at en måde at begrænse spredningen af ​​toksicitet på er ved at begrænse de samfund, som brugerne kan deltage i. Forskerne fandt en positiv sammenhæng mellem stigningen i antallet af samfund og stigningen i toksicitet, men kan ikke garantere, at dette er den eneste årsag til stigningen i giftindholdet.

Forskellige typer indhold kan deles og publiceres på sociale medieplatforme, så brugerne kan kommunikere med hinanden på forskellige måder. Væksten af ​​sociale medieplatforme har desværre ført til en eksplosion af ondsindet indhold såsom chikane, bandeord og cybermobning. Forskellige årsager kan motivere brugere af sociale medieplatforme til at sprede skadeligt indhold. Det har vist sig, at udgivelse af giftigt indhold (dvs. ondsindet adfærd) spreder sig – den ondsindede adfærd fra ikke-ondsindede brugere kan påvirke ikke-ondsindede brugere og få dem til at opføre sig forkert, hvilket påvirker online-fællesskaber negativt.

"En udfordring med at studere online toksicitet er de mange former, det tager, herunder hadefulde ytringer, chikane og cybermobning. Giftigt indhold indeholder ofte fornærmelser, trusler og stødende sprog, som igen forurener online platforme. Flere online platforme har implementeret forebyggelsesmekanismer, men disse bestræbelser er ikke skalerbare nok til at begrænse den hurtige vækst af giftigt indhold på onlineplatforme. Disse udfordringer kræver udvikling af effektive automatiske eller semiautomatiske løsninger til at opdage toksicitet fra en stor strøm af indhold på onlineplatforme," siger forfatterne, Ph.D. (ABD) Hind Almerekhi, Dr. Haewoon Kwak og professor Bernard J. Jansen.

"Overvågning af ændringen i brugernes toksicitet kan være en tidlig påvisningsmetode for toksicitet i online-fællesskaber. Den foreslåede metode kan identificere, hvornår brugere udviser en ændring ved at beregne toksicitetsprocenten i indlæg og kommentarer. Denne ændring kombineret med toksicitetsniveauet i vores system registrerer i brugernes indlæg, kan bruges effektivt til at stoppe spredning af toksicitet."

Forskerholdet byggede ved hjælp af crowdsourcing et mærket datasæt med 10.083 Reddit-kommentarer og brugte derefter datasættet til at træne og finjustere en Bidirectional Encoder Representations from Transformers (BERT) neurale netværksmodel. Modellen forudsagde toksicitetsniveauerne for 87.376.912 indlæg fra 577.835 brugere og 2.205.581.786 kommentarer fra 890.913 brugere på Reddit over 16 år, fra 2005 til 2020.

Denne undersøgelse brugte toksicitetsniveauerne af brugerindhold til at identificere toksicitetsændringer hos brugeren inden for det samme fællesskab, på tværs af flere fællesskaber og over tid. For toksicitetsdetektionsydelsen opnåede den finjusterede BERT-model en klassificeringsnøjagtighed på 91,27 % og en AUC-score (Area Under the Receiver Operating Characteristic Curve) på 0,963 og udkonkurrerede flere baseline maskinlærings- og neurale netværksmodeller. + Udforsk yderligere

Undersøgelse finder, at toksicitet i open source-fællesskabet varierer fra andre internetfora