Eksperiment viser, at grupper af lægfolk bedømmer historier pålideligt lige så effektivt, som faktatjekkere gør

I lyset af alvorlige bekymringer om misinformation, sociale medier netværk og nyhedsorganisationer bruger ofte faktatjekkere til at sortere det virkelige fra det falske. Men faktatjekkere kan kun vurdere en lille del af de historier, der flyder rundt på nettet.

En ny undersøgelse fra MIT-forskere foreslår en alternativ tilgang:Crowdsourced nøjagtighedsvurderinger fra grupper af normale læsere kan være næsten lige så effektive som arbejdet fra professionelle faktatjekkere.

"Et problem med faktatjek er, at der bare er alt for meget indhold til, at professionelle faktatjekkere kan dække, især inden for en rimelig tidsramme, " siger Jennifer Allen, en ph.d. studerende ved MIT Sloan School of Management og medforfatter til et nyligt offentliggjort papir, der beskriver undersøgelsen.

Men den nuværende undersøgelse, undersøgte over 200 nyhedshistorier, som Facebooks algoritmer havde markeret for yderligere undersøgelse, kan have fundet en måde at løse det problem på, ved at bruge relativt små, politisk afbalancerede grupper af læglæsere til at evaluere overskrifter og lede sætninger i nyhedshistorier.

"Vi fandt det opmuntrende, " siger Allen. "Den gennemsnitlige vurdering af en skare på 10 til 15 personer korrelerede lige så godt med faktatjekkernes vurderinger, som faktatjekkerne korrelerede med hinanden. Dette hjælper med skalerbarhedsproblemet, fordi disse bedømmere var almindelige mennesker uden faktatjek-uddannelse, og de læser bare overskrifterne og ledende sætninger uden at bruge tid på at lave research."

Det betyder, at crowdsourcing-metoden kan implementeres bredt - og billigt. Undersøgelsen anslår, at omkostningerne ved at lade læsere vurdere nyheder på denne måde er omkring $0,90 pr. historie.

"Der er ikke én ting, der løser problemet med falske nyheder online, siger David Rand, en professor ved MIT Sloan og senior medforfatter af undersøgelsen. "Men vi arbejder på at tilføje lovende tilgange til anti-misinformationsværktøjssættet."

Papiret, "Opskalering af faktatjek ved hjælp af folkemængdernes visdom, " offentliggøres i dag i Videnskabens fremskridt . Medforfatterne er Allen; Antonio A. Arechar, en forsker ved MIT Human Cooperation Lab; Gordon Pennycook, en assisterende professor i adfærdsvidenskab ved University of Regina's Hill/Levene Schools of Business; og Rand, hvem er Erwin H. Schell-professor og professor i ledelsesvidenskab og hjerne- og kognitionsvidenskab ved MIT, og direktør for MIT's Applied Cooperation Lab.

En kritisk masse af læsere

For at gennemføre undersøgelsen, forskerne brugte 207 nyhedsartikler, som en intern Facebook-algoritme identificerede som værende behov for faktatjek, enten fordi der var grund til at tro, at de var problematiske eller simpelthen fordi de blev delt bredt eller handlede om vigtige emner som sundhed. Eksperimentet implementerede 1, 128 amerikanske indbyggere, der bruger Amazons Mechanical Turk-platform.

Disse deltagere fik overskriften og hovedsætningen på 20 nyhedshistorier og blev stillet syv spørgsmål - hvor meget var historien "præcis, " "sand, " "pålidelig, " "pålidelig, " "objektiv, " "uvildigt, " og "beskrive en begivenhed, der faktisk skete" - for at generere en samlet nøjagtighedsscore for hver nyhed.

På samme tid, tre professionelle faktatjekkere fik alle 207 historier - bedt om at vurdere historierne efter at have undersøgt dem. På linje med andre undersøgelser om faktatjek, selvom faktatjekkernes vurderinger var meget korrelerede med hinanden, deres aftale var langt fra perfekt. I omkring 49 procent af tilfældene alle tre faktatjekkere var enige om den korrekte dom om en histories fakta; omkring 42 procent af tiden, to af de tre faktatjekkere var enige; og omkring 9 procent af tiden, de tre faktatjekkere havde hver deres vurdering.

Spændende nok, da de faste læsere, der blev rekrutteret til undersøgelsen, blev sorteret i grupper med det samme antal demokrater og republikanere, deres gennemsnitlige vurderinger var stærkt korreleret med de professionelle faktatjekkeres vurderinger - og med mindst et tocifret antal læsere involveret, publikums vurderinger korrelerede lige så stærkt med faktatjekkerne, som faktatjekkernes gjorde med hinanden.

"Disse læsere var ikke trænet i faktatjek, og de læste kun overskrifter og hovedsætninger, og alligevel var de i stand til at matche faktatjekkernes præstationer, " siger Allen.

Selvom det i første omgang kan virke overraskende, at en skare på 12 til 20 læsere kunne matche præstationerne fra professionelle faktatjekkere, dette er endnu et eksempel på et klassisk fænomen:folkemængdernes visdom. På tværs af en bred vifte af applikationer, grupper af lægfolk har vist sig at matche eller overgå udførelsen af ​​ekspertvurderinger. Den nuværende undersøgelse viser, at dette kan forekomme selv i den meget polariserende sammenhæng med misinformationsidentifikation.

Eksperimentets deltagere tog også en politisk videnstest og en test af deres tendens til at tænke analytisk. Samlet set, vurderingerne af mennesker, der var bedre informeret om samfundsspørgsmål og engageret i mere analytisk tænkning, var tættere på linje med faktatjekkerne.

"Folk, der engagerede sig i flere ræsonnementer og var mere vidende, var mere enige med faktatjekkerne, " siger Rand. "Og det var sandt, uanset om de var demokrater eller republikanere."

Deltagelsesmekanismer

De lærde siger, at opdagelsen kan anvendes på mange måder - og bemærker, at nogle sociale medier-behemoths aktivt forsøger at få crowdsourcing til at fungere. Facebook har et program, kaldet Community Review, hvor lægfolk hyres til at vurdere nyhedsindhold; Twitter har sit eget projekt, Fugleur, anmode om input fra læserne om rigtigheden af ​​tweets. Folkemængdernes visdom kan enten bruges til at hjælpe med at anvende offentlige etiketter på indhold, eller for at informere rangeringsalgoritmer og hvilket indhold folk vises i første omgang.

At være sikker, forfatterne bemærker, enhver organisation, der bruger crowdsourcing, skal finde en god mekanisme for læsernes deltagelse. Hvis deltagelse er åben for alle, det er muligt, at crowdsourcing-processen kan blive uretfærdigt påvirket af partisaner.

"Vi har endnu ikke testet dette i et miljø, hvor alle kan tilmelde sig, " bemærker Allen. "Platforme bør ikke nødvendigvis forvente, at andre crowdsourcing-strategier ville give lige positive resultater."

På den anden side, Rand siger:nyheds- og sociale medieorganisationer ville være nødt til at finde måder at få en stor nok gruppe af mennesker til aktivt at evaluere nyheder, for at få crowdsourcing til at fungere.

"De fleste mennesker er ligeglade med politik og bekymrer sig nok til at prøve at påvirke tingene, " siger Rand. "Men bekymringen er, at hvis du lader folk bedømme ethvert indhold, de ønsker, så vil de eneste, der gør det, være dem, der vil spille systemet. Stadig, til mig, en større bekymring end at blive oversvømmet af ildsjæle er problemet, at ingen ville gøre det. Det er et klassisk problem med offentlige goder:Samfundet som helhed har gavn af, at folk identificerer misinformation, men hvorfor skulle brugerne gide at investere tid og kræfter på at give vurderinger?"