Hjerneinspireret algoritme hjælper AI-systemer med at multitaske og huske

Bag de fleste af nutidens kunstige intelligens -teknologier, fra selvkørende biler til ansigtsgenkendelse og virtuelle assistenter, ligger kunstige neurale netværk. Selvom det er løst baseret på den måde neuroner kommunikerer i hjernen, disse "deep learning" -systemer forbliver ude af stand til mange grundlæggende funktioner, der ville være afgørende for primater og andre organismer.

Imidlertid, en ny undersøgelse fra University of Chicago neuroscientists fandt ud af, at tilpasning af en velkendt hjernemekanisme dramatisk kan forbedre kunstige neurale netværks evne til at lære flere opgaver og undgå den vedvarende AI-udfordring med "katastrofal glemme". Studiet, udgivet i Procedurer fra National Academy of Sciences , giver et unikt eksempel på, hvordan neurovidenskabelig forskning kan informere nye datalogiske strategier, og, omvendt, hvordan AI -teknologi kan hjælpe forskere med bedre at forstå den menneskelige hjerne.

Når det kombineres med tidligere rapporterede metoder til stabilisering af synaptiske forbindelser i kunstige neurale netværk, den nye algoritme tillod enkelte kunstige neurale netværk at lære og udføre hundredvis af opgaver med kun minimalt tab af nøjagtighed, muligvis muliggøre mere kraftfulde og effektive AI -teknologier.

"Intuitivt, du tænker måske, jo flere opgaver du vil have et netværk at kende, jo større netværket måske skal være, "sagde David Freedman, professor i neurobiologi ved UChicago. "Men hjernen antyder, at der sandsynligvis er en effektiv måde at pakke masser af viden ind i et ret lille netværk. Når du ser på dele af hjernen, der er involveret i højere kognitive funktioner, du har en tendens til at opdage, at de samme områder, selv de samme celler, deltage i mange forskellige funktioner. Ideen var at hente inspiration fra, hvad hjernen gør for at løse udfordringer med neurale netværk. "

I kunstige neurale netværk, "katastrofal glemme" refererer til vanskeligheden ved at lære systemet at udføre nye færdigheder uden at miste tidligere indlærte funktioner. For eksempel, hvis et netværk i første omgang blev uddannet til at skelne mellem fotos af hunde og katte, derefter blev genuddannet til at skelne mellem hunde og heste, den mister sin tidligere evne.

"Hvis du viser et uddannet neuralt netværk en ny opgave, den vil helt glemme sin tidligere opgave, "sagde Gregory Grant, AB'18, der nu er forsker i Freedman -laboratoriet. "Det siger, 'Jeg har ikke brug for den information, 'og overskriver det. Det er katastrofalt at glemme. Det sker meget hurtigt; inden for blot et par iterationer, din tidligere opgave kan blive fuldstændig udslettet. "

Derimod, hjernen er i stand til "kontinuerlig læring, "erhverve ny viden uden at fjerne gamle minder, selv når de samme neuroner bruges til flere opgaver. En strategi, hjernen bruger til denne læringsudfordring, er selektiv aktivering af celler eller cellulære komponenter til forskellige opgaver - i det væsentlige at tænde mindre, overlappende undernetværk for hver enkelt færdighed, eller i forskellige sammenhænge.

UChicago-forskerne tilpassede denne neurovidenskabelige mekanisme til kunstige neurale netværk gennem en algoritme, de kaldte "kontekstafhængig gating". For hver ny lært opgave, kun tilfældige 20 procent af et neuralt netværk er aktiveret. Efter at netværket er uddannet i hundredvis af forskellige opgaver, en enkelt knude kan være involveret i snesevis af operationer, men med et unikt sæt kammerater til hver enkelt færdighed.

Når det kombineres med metoder, der tidligere er udviklet af Google og Stanford -forskere, kontekstafhængig gating tillod netværk at lære så mange som 500 opgaver med kun et lille fald i nøjagtighed.

"Det var lidt overraskende, at noget så enkelt fungerede så godt, "sagde Nicolas Masse, en postdoktor i Freedman -laboratoriet. "Men med denne metode, et temmelig mellemstort netværk kan hugges op på en hel masse måder til at kunne lære mange forskellige opgaver, hvis det udføres korrekt. "

Som sådan, tilgangen har sandsynligvis et stort potentiale i den voksende AI -industri, hvor virksomheder udvikler autonome køretøjer, robotik og andre smarte teknologier skal pakke komplekse læringsmuligheder ind på computere på forbrugerniveau. UChicago -teamet arbejder i øjeblikket med Polsky Center for Entrepreneurship and Innovation for at undersøge kommercialiseringsmuligheder for algoritmen.

Den beregningsmæssige forskning gavner også laboratoriets oprindelige fokus på bedre forståelse af primathjernen ved at registrere dens aktivitet, mens dyr lærer og opfører sig. Model- og teststrategier, der muliggør læring, opmærksomhed, sensorisk behandling og andre funktioner i en computer kan motivere og foreslå nye biologiske eksperimenter, der undersøger intelligensens mekanismer både naturlige og kunstige, sagde forskerne.

"Tilføjelse af denne forskningsdel til laboratoriet har virkelig åbnet mange døre med hensyn til at give os mulighed for at tænke over nye former for problemer, nye former for neurovidenskabelige emner og problemer, som vi normalt ikke rigtig kan løse ved hjælp af de eksperimentelle teknikker, der i øjeblikket er tilgængelige for os i laboratoriet, "Freedman sagde." Vi håber, at dette er udgangspunktet for mere arbejde i laboratoriet med både at identificere disse principper og hjælpe med at skabe kunstige netværk, der fortsætter med at lære og bygge på forudgående viden. "