Et neuralt netværk kan læse videnskabelige artikler og give et almindeligt engelsk resumé

Værket af en videnskabsforfatter, inklusive denne, omfatter læsning af tidsskriftsartikler fyldt med specialiseret teknisk terminologi, og finde ud af, hvordan man forklarer deres indhold i et sprog, som læsere uden videnskabelig baggrund kan forstå.

Nu, et team af forskere ved MIT og andre steder har udviklet et neuralt netværk, en form for kunstig intelligens (AI), der kan gøre meget det samme, i det mindste i begrænset omfang:Den kan læse videnskabelige artikler og gengive et almindeligt engelsk resumé i en sætning eller to.

Selv i denne begrænsede form, et sådant neuralt netværk kunne være nyttigt til at hjælpe redaktører, forfattere, og videnskabsmænd scanner et stort antal artikler for at få en foreløbig fornemmelse af, hvad de handler om. Men den tilgang, holdet udviklede, kunne også finde anvendelser på en række andre områder udover sprogbehandling, herunder maskinoversættelse og talegenkendelse.

Arbejdet er beskrevet i journalen Transaktioner af Foreningen for Datalingvistik , i et papir af Rumen Dangovski og Li Jing, begge MIT kandidatstuderende; Marin Soljačić, en professor i fysik ved MIT; Preslav Nakov, seniorforsker ved Qatar Computing Research Institute, HBKU; og Mićo Tatalović, en tidligere Knight Science Journalism fellow ved MIT og en tidligere redaktør på Ny videnskabsmand magasin.

Fra AI til fysik til naturligt sprog

Arbejdet opstod som et resultat af et ikke-relateret projekt, som involverede udvikling af nye kunstig intelligens-tilgange baseret på neurale netværk, rettet mod at tackle visse vanskelige problemer i fysikken. Imidlertid, forskerne indså hurtigt, at den samme tilgang kunne bruges til at løse andre vanskelige beregningsproblemer, herunder naturlig sprogbehandling, på måder, der kan overgå eksisterende neurale netværkssystemer.

"Vi har lavet forskellige former for arbejde i AI i et par år nu, " siger Soljačić. "Vi bruger kunstig intelligens til at hjælpe med vores forskning, dybest set for at gøre fysik bedre. Og efterhånden som vi er blevet mere fortrolige med kunstig intelligens, vi vil bemærke, at der en gang imellem er en mulighed for at tilføje AI-området på grund af noget, vi kender fra fysikken - en bestemt matematisk konstruktion eller en bestemt lov i fysikken. Vi har bemærket, at hej, hvis vi bruger det, det kunne faktisk hjælpe med denne eller hin særlige AI-algoritme."

Denne tilgang kan være nyttig i en række specifikke slags opgaver, han siger, men ikke alle. "Vi kan ikke sige, at dette er nyttigt for hele AI, men der er tilfælde, hvor vi kan bruge en indsigt fra fysikken til at forbedre en given AI-algoritme."

Neurale netværk generelt er et forsøg på at efterligne den måde, mennesker lærer visse nye ting på:Computeren undersøger mange forskellige eksempler og "lærer", hvad de grundlæggende underliggende mønstre er. Sådanne systemer er meget brugt til mønstergenkendelse, såsom at lære at identificere objekter afbildet på billeder.

Men neurale netværk har generelt svært ved at korrelere information fra en lang række data, sådan som det kræves ved fortolkning af et forskningspapir. Forskellige tricks er blevet brugt til at forbedre denne evne, herunder teknikker kendt som langtidshukommelse (LSTM) og gated recurrent units (GRU), men disse er stadig langt fra, hvad der er nødvendigt for ægte naturlig sprogbehandling, siger forskerne.

Holdet kom med et alternativt system, som i stedet for at være baseret på multiplikation af matricer, som de fleste konventionelle neurale netværk er, er baseret på vektorer, der roterer i et flerdimensionelt rum. Nøglekonceptet er noget, de kalder en rotationsenhed af hukommelse (RUM).

I det væsentlige, systemet repræsenterer hvert ord i teksten ved hjælp af en vektor i flerdimensionelt rum - en linje af en vis længde, der peger i en bestemt retning. Hvert efterfølgende ord svinger denne vektor i en eller anden retning, repræsenteret i et teoretisk rum, der i sidste ende kan have tusindvis af dimensioner. I slutningen af ​​processen, den endelige vektor eller sæt af vektorer oversættes tilbage til dens tilsvarende række af ord.

"RUM hjælper neurale netværk til at gøre to ting meget godt, " siger Nakov. "Det hjælper dem til at huske bedre, og det gør dem i stand til at huske information mere præcist."

Efter at have udviklet RUM-systemet til at hjælpe med visse svære fysikproblemer, såsom lysets opførsel i komplekse konstruerede materialer, "Vi indså, at et af de steder, hvor vi troede, at denne tilgang kunne være nyttig, ville være naturlig sprogbehandling, " siger Soljačić, mindes en samtale med Tatalović, som bemærkede, at et sådant værktøj ville være nyttigt for hans arbejde som redaktør, der forsøgte at beslutte, hvilke papirer han skulle skrive om. Tatalović udforskede på det tidspunkt AI i videnskabsjournalistik som sit Ridder-stipendiumsprojekt.

"Og så vi prøvede et par naturlige sprogbehandlingsopgaver på det, " siger Soljačić. "En, vi prøvede, var at opsummere artikler, og det ser ud til at fungere ret godt."

Beviset er i læsningen

Som et eksempel, de fodrede det samme forskningspapir gennem et konventionelt LSTM-baseret neuralt netværk og gennem deres RUM-baserede system. De resulterende resuméer var dramatisk anderledes.

LSTM-systemet gav denne meget gentagne og ret tekniske oversigt:"Baylisascariasis, "dræber mus, har truet allegheny woodrat og har forårsaget sygdom som blindhed eller alvorlige konsekvenser. Denne infektion, kaldet "baylisascariasis, "dræber mus, har truet allegheny woodrat og har forårsaget sygdom som blindhed eller alvorlige konsekvenser. Denne infektion, kaldet "baylisascariasis, "dræber mus, har truet allegheny woodrat.

Baseret på samme papir, RUM-systemet gav en meget mere læsbar oversigt, og en, der ikke omfattede den unødvendige gentagelse af sætninger:Byvaskebjørne kan inficere mennesker mere end tidligere antaget. 7 procent af de adspurgte personer testede positive for vaskebjørn rundorm-antistoffer. Over 90 procent af vaskebjørne i Santa Barbara er vært for denne parasit.

Allerede, det RUM-baserede system er blevet udvidet, så det kan "læse" hele forskningsartikler, ikke kun abstrakterne, at lave et resumé af deres indhold. Forskerne har endda prøvet at bruge systemet på deres eget forskningspapir, der beskriver disse resultater - papiret, som denne nyhedshistorie forsøger at opsummere.

Her er det nye neurale netværks resumé:Forskere har udviklet en ny repræsentationsproces på den roterende enhed af RUM, en tilbagevendende hukommelse, der kan bruges til at løse et bredt spektrum af den neurale revolution i naturlig sprogbehandling.

Det er måske ikke elegant prosa, men det rammer i det mindste de vigtigste informationspunkter.

Çağlar Gülçehre, en forsker ved det britiske AI-firma Deepmind Technologies, som ikke var involveret i dette arbejde, siger, at denne forskning tackler et vigtigt problem i neurale netværk, at gøre med at relatere stykker information, der er vidt adskilt i tid eller rum. "Dette problem har været et meget grundlæggende problem i kunstig intelligens på grund af nødvendigheden af ​​at ræsonnere over lange tidsforsinkelser i sekvensforudsigelsesopgaver, " siger han. "Selvom jeg ikke mener, at dette papir helt løser dette problem, det viser lovende resultater på de langsigtede afhængighedsopgaver såsom besvarelse af spørgsmål, tekst opsummering, og associativ tilbagekaldelse."

Gülçehre tilføjer, "Da de udførte eksperimenter og modellen foreslået i dette papir er udgivet som open source på Github, som følge heraf vil mange forskere være interesserede i at prøve det på deres egne opgaver. … For at være mere specifik, potentielt kan den tilgang, der foreslås i dette dokument, have meget stor indflydelse på områderne naturlig sprogbehandling og forstærkende læring, hvor de langsigtede afhængigheder er meget afgørende."

Denne historie er genudgivet med tilladelse fra MIT News (web.mit.edu/newsoffice/), et populært websted, der dækker nyheder om MIT-forskning, innovation og undervisning.