Hvorfor nogle Wikipedia-tvister bliver uløste – undersøgelse identificerer årsager, tilbyder forudsigelige værktøjer

Wikipedia har muliggjort storskala, åbent samarbejde om internettets største generelle reference-ressource. Men, som med mange samarbejdsprojekter, udformning af indholdet kan være et omstridt emne.

Tit, flere Wikipedia-redaktører vil være uenige om visse ændringer af artikler eller politikker. En af de vigtigste måder at officielt løse sådanne tvister på er processen med anmodninger om kommentarer (RfC). Skændige redaktører vil offentliggøre deres overvejelser på et forum, hvor andre Wikipedia-redaktører vil kime ind, og en neutral redaktør vil træffe en endelig beslutning.

Ideelt set dette burde løse alle spørgsmål. Men en ny undersøgelse foretaget af MIT-forskere finder, at invaliderende faktorer - såsom overdreven skænderi og dårligt formulerede argumenter - har ført til, at omkring en tredjedel af RfC'er er blevet uløste.

Til studiet, forskerne kompilerede og analyserede det første omfattende datasæt af RfC-samtaler nogensinde, fanget over en otteårig periode, og gennemførte interviews med redaktører, der ofte lukker RfC'er, at forstå, hvorfor de ikke finder en løsning. De udviklede også en maskinlæringsmodel, der udnytter dette datasæt til at forudsige, hvornår RfC'er kan blive forældede. Og, de anbefaler digitale værktøjer, der kunne gøre overvejelser og løsning mere effektive.

"Det var overraskende at se, at en hel tredjedel af diskussionerne ikke blev afsluttet, " siger Amy X. Zhang, en ph.d.-kandidat i MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL) og medforfatter på papiret, som præsenteres på denne uges ACM-konference om computerstøttet kooperativt arbejde og social computing. "På Wikipedia, alle er frivillige. Folk lægger i arbejdet, og de har interesse … og redaktører venter måske på, at nogen lukker, så de kan komme tilbage til redigeringen. Vi ved, kigger diskussionerne igennem, jobbet med at læse igennem og løse en stor overvejelse er hårdt, især med frem og tilbage og stridigheder. [Vi håber at] hjælpe den person med at gøre det arbejde. "

Papirets medforfattere er:første forfatter Jane Im, en kandidatstuderende ved University of Michigan's School of Information; Christopher J. Schilling fra Wikimedia Foundation; og David Karger, professor i datalogi og CSAIL-forsker.

(Ikke) at finde lukning

Wikipedia tilbyder flere kanaler til at løse redaktionelle tvister, som involverer to redaktører, der løser deres problemer, at bringe ideer til et simpelt flertal fra samfundet, eller bringe debatten til et panel af moderatorer. Nogle tidligere Wikipedia-undersøgelser har dykket ned i disse kanaler og frem og tilbage "redigeringskrige" mellem bidragydere. "Men RfC'er er interessante, fordi der er meget mindre stemmementalitet, "Siger Zhang." Med andre processer, i slutningen af ​​dagen vil du stemme og se, hvad der sker. [RfC-deltagere] stemmer nogle gange, men det handler mere om at finde en konsensus. Det vigtige er, hvad der rent faktisk sker i en diskussion. "

For at indgive en RfC, en redaktør udarbejder et skabelonforslag, baseret på en indholdstvist, der ikke blev løst på en artikels grundlæggende "samtale"-side, og inviterer til kommentarer fra det bredere samfund. Forslagene kører hele vejen, fra mindre uenigheder om en berømtheds baggrundsinformation til ændringer af Wikipedias politikker. Enhver editor kan starte en RfC og enhver editor - normalt, mere erfarne – som ikke deltog i diskussionen og betragtes som neutrale, kan afslutte en diskussion. Efter 30 dage, en bot fjerner automatisk RfC -skabelonen, med eller uden opløsning. RfC'er kan afslutte formelt med en sammenfattende erklæring fra de nærmere, uformelt på grund af overvældende enighed fra deltagerne, eller blive forældet, betydning fjernet uden opløsning.

Til deres undersøgelse, forskerne kompilerede en database bestående af omkring 7, 000 RfC-samtaler fra den engelsksprogede Wikipedia fra 2011 til 2017, som omfattede afsluttende opgørelser, forfatterkontooplysninger, og generel svarstruktur. De gennemførte også interviews med 10 af Wikipedias mest hyppige tættere for bedre at forstå deres motiver og overvejelser, når de løser en tvist.

Analyse af datasættet, forskerne fandt ud af, at omkring 57 procent af RfC'erne formelt var lukket. Af de resterende 43 pct. 78 procent (eller omkring 2, 300) blev efterladt uaktuelle uden uformel beslutning - eller, omkring 33 procent af alle de undersøgte RfC'er. Ved at kombinere datasætanalyse med interviewene, forskerne uddybede derefter de vigtigste årsager til opløsningssvigt. Vigtige spørgsmål omfatter dårligt formulerede indledende argumenter, hvor initiativtageren er uklar omkring spørgsmålet eller skriver et bevidst partisk forslag; overdreven skænderi under diskussioner, der fører til mere komplicerede, længere, argumenterende tråde, der er svære at undersøge fuldt ud; og simpel mangel på interesse fra tredjepartsredaktører, fordi emner kan være for esoteriske, blandt andre faktorer.

Nyttige værktøjer

Holdet udviklede derefter en maskinlæringsmodel til at forudsige, om en given RfC ville lukke (formelt eller uformelt) eller blive forældet, ved at analysere mere end 60 træk i teksten, Wikipedia side, og redaktørkontooplysninger. Modellen opnåede en nøjagtighed på 75 procent til at forudsige fiasko eller succes inden for en uge efter, at diskussionen startede. Nogle mere informative funktioner til forudsigelse, de fandt, inkludere længden af ​​diskussionen, antal deltagere og svar, antal revisioner af artiklen, popularitet og interesse for emnet, diskussionsdeltagernes erfaringer, og niveauet af vulgaritet, negativitet, og generel aggression i kommentarerne.

Modellen kan en dag blive brugt af RfC-initiativtagere til at overvåge en diskussion, mens den udspiller sig. "Vi tror, ​​det kunne være nyttigt for redaktører at vide, hvordan de skal målrette deres indgreb, " siger Zhang. "De kunne sende [RfC] til flere [Wikipedia-fora] eller invitere flere mennesker, hvis det ser ud til, at det er i fare for ikke at blive løst."

Forskerne foreslår, at Wikipedia kan udvikle værktøjer til at hjælpe lukkere med at organisere lange diskussioner, markere overbevisende argumenter og meningsændringer i en tråd, og tilskynde til kollaborativ lukning af RfC'er.

I fremtiden, modellen og de foreslåede værktøjer kan potentielt bruges til andre samfundsplatforme, der involverer store diskussioner og overvejelser. Zhang peger på online by- og samfundsplanlægningsfora, hvor borgerne vejer forslag. "Folk diskuterer [forslagene] og stemmer om dem, så værktøjerne kan hjælpe fællesskaber med bedre at forstå diskussionerne ... og ville [også] være nyttige for implementeringerne af forslagene."

Zhang, Jeg er, og andre forskere har nu bygget en ekstern hjemmeside, hvor redaktører på alle niveauer af ekspertise kan mødes for at lære af hinanden, og nemmere overvåge og lukke diskussioner. "Arbejdet med at nærme sig er ret hårdt, " Zhang siger, "så der er mangel på folk, der ønsker at lukke disse diskussioner, især svært, længere, og mere konsekvente. Dette kan hjælpe med at reducere adgangsbarrieren [for redaktører at komme tættere på] og hjælpe dem med at samarbejde om at lukke RfC'er."

"Selvom det er overraskende, at en tredjedel af disse diskussioner aldrig blev løst, [hvad mere er] vigtigt er årsagerne til, at diskussioner ikke lukker, og de mest interessante konklusioner her kommer fra de kvalitative analyser, "siger Robert Kraut, en professor emeritus i menneske-computer-interaktioner ved Carnegie Melon University. "Nogle [af undersøgelsens] resultater overskrider Wikipedia og kan anvendes på mange diskussioner i andre omgivelser." Mere arbejde, tilføjer han, kunne gøres for at forbedre maskinlæringsmodellens nøjagtighed for at give mere praktisk indsigt til Wikipedia.

Undersøgelsen belyser, hvordan nogle RfC-processer "afviger fra etablerede normer, fører til ineffektivitet og skævheder, "siger Dario Taraborelli, forskningsdirektør ved Wikimedia Foundation. "Resultaterne indikerer, at deltagernes oplevelse og længden af ​​en diskussion er stærkt forudsigende for rettidig lukning af et RfC. Dette bringer ny empirisk dokumentation for spørgsmålet om, hvordan man kan gøre styringsrelaterede diskussioner mere tilgængelige for nytilkomne og medlemmer af underrepræsenterede grupper."

Denne historie er genudgivet med tilladelse fra MIT News (web.mit.edu/newsoffice/), et populært websted, der dækker nyheder om MIT-forskning, innovation og undervisning.