Automatiseret system kan omskrive forældede sætninger i Wikipedia-artikler

Et system skabt af MIT-forskere kunne bruges til automatisk at opdatere faktuelle uoverensstemmelser i Wikipedia-artikler, reducerer tid og kræfter brugt af menneskelige redaktører, som nu udfører opgaven manuelt.

Wikipedia omfatter millioner af artikler, der konstant har behov for redigeringer for at afspejle ny information. Det kan involvere artikeludvidelser, større omskrivninger, eller flere rutinemæssige ændringer såsom opdatering af numre, datoer, navne, og lokationer. I øjeblikket, mennesker over hele kloden giver frivilligt deres tid til at foretage disse redigeringer.

I et papir, der præsenteres på AAAI-konferencen om kunstig intelligens, forskerne beskriver et tekstgenererende system, der lokaliserer og erstatter specifik information i relevante Wikipedia-sætninger, samtidig med, at sproget ligner, hvordan mennesker skriver og redigerer.

Ideen er, at mennesker ville skrive en ustruktureret sætning i en grænseflade med opdateret information, uden at skulle bekymre dig om stil eller grammatik. Systemet ville derefter søge på Wikipedia, find den relevante side og forældede sætning, og omskriv det på en menneskelignende måde. I fremtiden, siger forskerne, der er potentiale til at bygge et fuldt automatiseret system, der identificerer og bruger den seneste information fra hele nettet til at producere omskrevne sætninger i tilsvarende Wikipedia-artikler, der afspejler opdateret information.

"Der er så mange opdateringer konstant nødvendige til Wikipedia-artikler. Det ville være en fordel automatisk at ændre nøjagtige dele af artiklerne, med lidt eller ingen menneskelig indblanding, " siger Darsh Shah, en ph.d. studerende i Computer Science and Artificial Intelligence Laboratory (CSAIL) og en af ​​hovedforfatterne. "I stedet for at hundredvis af mennesker arbejder på at ændre hver Wikipedia-artikel, så skal du kun bruge nogle få, fordi modellen hjælper eller gør det automatisk. Det giver dramatiske forbedringer i effektivitet."

Der findes mange andre bots, der foretager automatiske Wikipedia-redigeringer. Typisk, dem, der arbejder på at afbøde hærværk eller droppe nogle snævert definerede oplysninger i foruddefinerede skabeloner, siger Shah. Forskernes model, han siger, løser et sværere kunstig intelligensproblem:Givet et nyt stykke ustruktureret information, modellen ændrer automatisk sætningen på en menneskelignende måde. "De andre [bot] opgaver er mere regelbaserede, mens dette er en opgave, der kræver ræsonnement over modstridende dele i to sætninger og genererer et sammenhængende stykke tekst, " han siger.

Systemet kan også bruges til andre tekstgenererende applikationer, siger co-lead forfatter og CSAIL kandidatstuderende Tal Schuster. I deres papir, forskerne brugte det også til automatisk at syntetisere sætninger i et populært faktatjekdatasæt, der hjalp med at reducere bias, uden manuelt at indsamle yderligere data. "Denne måde, ydeevnen forbedres for automatiske faktaverifikationsmodeller, der træner på datasættet til, sige, opdagelse af falske nyheder, " siger Schuster.

Shah og Schuster arbejdede på papiret sammen med deres akademiske rådgiver Regina Barzilay, Delta Electronics professor i elektroteknik og datalogi og professor i CSAIL.

Neutralitetsmaskering og sammensmeltning

Bag systemet er en del tekstgenererende opfindsomhed til at identificere modstridende informationer mellem, og derefter smelte sammen, to separate sætninger. Det tager som input en "forældet" sætning fra en Wikipedia-artikel, plus en separat "krav"-sætning, der indeholder de opdaterede og modstridende oplysninger. Systemet skal automatisk slette og beholde bestemte ord i den forældede sætning, baseret på oplysninger i kravet, at opdatere fakta, men bevare stil og grammatik. Det er en nem opgave for mennesker, men en ny inden for maskinlæring.

For eksempel, sige, at der er en påkrævet opdatering af denne sætning (med fed skrift):"Fond A anser 28 af deres 42 minoritetsinteresser i operationelt aktive virksomheder for at være af særlig betydning for koncernen." Kravsætningen med opdateret information kan lyde:"Fonden A anser 23 af 43 minoritetsinteresser som væsentlige." Systemet vil finde den relevante Wikipedia-tekst for "Fond A, " baseret på påstanden. Den fjerner derefter automatisk de forældede numre (28 og 42) og erstatter dem med de nye numre (23 og 43), samtidig med at sætningen holdes nøjagtig den samme og grammatisk korrekt. (I deres arbejde, forskerne kørte systemet på et datasæt med specifikke Wikipedia-sætninger, ikke på alle Wikipedia-sider.)

Systemet blev trænet på et populært datasæt, der indeholder sætningspar, hvor den ene sætning er en påstand, og den anden er en relevant Wikipedia-sætning. Hvert par er mærket på en af ​​tre måder:"enig, " betyder, at sætningerne indeholder matchende faktuelle oplysninger; "uenig, " betyder, at de indeholder modstridende oplysninger; eller "neutral, "hvor der ikke er nok information til nogen af ​​etiketterne. Systemet skal få alle uenige par til at blive enige, ved at ændre den forældede sætning, så den matcher påstanden. Det kræver brug af to separate modeller for at producere det ønskede output.

Den første model er en faktatjek klassifikator - fortrænet til at mærke hvert sætningspar som "enig, " "uenig, " eller "neutral" – der fokuserer på uenige par. Kører i forbindelse med klassificeringen er et brugerdefineret "neutralitetsmasker"-modul, der identificerer, hvilke ord i den forældede sætning, der modsiger påstanden. Modulet fjerner det minimale antal ord, der kræves for at "maksimere neutralitet" - hvilket betyder, at parret kan mærkes som neutralt. Det er udgangspunktet:Selvom sætningerne ikke stemmer overens, de indeholder ikke længere åbenlyst modstridende oplysninger. Modulet opretter en binær "maske" over den forældede sætning, hvor et 0 bliver placeret over ord, der højst sandsynligt kræver sletning, mens en 1 går oven på målmænd.

Efter maskering, en ny to-encoder-decoder-ramme bruges til at generere den endelige outputsætning. Denne model lærer komprimerede repræsentationer af påstanden og den forældede sætning. Arbejder sammen, de to encoder-dekodere sammensmelter de forskellige ord fra påstanden, ved at skubbe dem ind på de pladser, der efterlades ledige af de slettede ord (dem, der er dækket med 0'er) i den forældede sætning.

I en test, modellen scorede højere end alle traditionelle metoder, ved at bruge en teknik kaldet "SARI", der måler, hvor godt maskiner sletter, tilføje, og holde ord sammenlignet med den måde, mennesker ændrer sætninger på. De brugte et datasæt med manuelt redigerede Wikipedia-sætninger, som modellen ikke havde set før. Sammenlignet med flere traditionelle tekstgenereringsmetoder, den nye model var mere nøjagtig til at lave faktuelle opdateringer, og dens output lignede mere menneskelig skrift. I en anden test, crowdsourcede mennesker scorede modellen (på en skala fra 1 til 5) baseret på, hvor godt dens outputsætninger indeholdt faktuelle opdateringer og matchede menneskelig grammatik. Modellen opnåede gennemsnitlige score på 4 i faktuelle opdateringer og 3,85 i matchende grammatik.

Fjernelse af skævhed

Undersøgelsen viste også, at systemet kan bruges til at udvide datasæt for at eliminere bias, når man træner detektorer af "falske nyheder, " en form for propaganda indeholdende desinformation skabt for at vildlede læsere med henblik på at generere webstedsvisninger eller styre den offentlige mening. Nogle af disse detektorer træner på datasæt af enig-uenig sætningspar for at "lære" at verificere en påstand ved at matche den med givet bevis.

I disse par, påstanden vil enten matche visse oplysninger med en understøttende "bevis"-sætning fra Wikipedia (enig), eller den vil blive modificeret af mennesker til at inkludere oplysninger, der er i modstrid med bevissætningen (uenig). Modellerne er trænet til at markere påstande med modbevisende beviser som "falske, ", som kan bruges til at hjælpe med at identificere falske nyheder.

Desværre, sådanne datasæt kommer i øjeblikket med utilsigtede skævheder, Shah siger:"Under træning, modeller bruger et eller andet sprog fra de menneskelige skrevne påstande som "give-away"-sætninger for at markere dem som falske, uden at stole meget på den tilsvarende bevissætning. Dette reducerer modellens nøjagtighed ved evaluering af eksempler fra den virkelige verden, da den ikke udfører faktatjek."

Forskerne brugte de samme sletnings- og fusionsteknikker fra deres Wikipedia-projekt til at balancere uenige-enige-parrene i datasættet og hjælpe med at afbøde skævheden. For nogle "uenige" par, de brugte den ændrede sætnings falske information til at genskabe en falsk "bevis"-understøttende sætning. Nogle af give-away-sætningerne findes så både i sætningerne "enig" og "uenig", hvilket tvinger modeller til at analysere flere funktioner. Ved at bruge deres udvidede datasæt, forskerne reducerede fejlprocenten for en populær fake-news-detektor med 13 procent.

"Hvis du har en bias i dit datasæt, og du narrer din model til bare at se på én sætning i et uenigt par for at komme med forudsigelser, din model vil ikke overleve den virkelige verden, "Siger Shah. "Vi får modeller til at se på begge sætninger i alle enig-uenig-par."

Denne historie er genudgivet med tilladelse fra MIT News (web.mit.edu/newsoffice/), et populært websted, der dækker nyheder om MIT-forskning, innovation og undervisning.