Voks og beskær AI efterligner hjernens udvikling, reducerer energiforbruget

Det kan komme som et chok for forældre, der står over for det daglige kaos i småbørnsliv, men hjernens kompleksitet topper omkring tre år.

Antallet af forbindelser mellem neuroner eksploderer nærmest i vores første par år. Derefter begynder hjernen at beskære ubrugte dele af dette enorme elektriske netværk væk, slankende til omkring halvdelen af ​​antallet, når vi når voksenalderen. Overforsyningen af ​​småbørns hjerne giver os mulighed for at tilegne os sprog og udvikle finmotorik. Men hvad vi ikke bruger, vi taber.

Nu har denne ebbe og flod af biologisk kompleksitet inspireret et team af forskere ved Princeton til at skabe en ny model for kunstig intelligens, skabe programmer, der opfylder eller overgår industristandarder for nøjagtighed ved brug af kun en brøkdel af energien. I et par papirer, der blev offentliggjort tidligere på året, forskerne viste, hvordan man starter med et simpelt design til et AI-netværk, Udvid netværket ved at tilføje kunstige neuroner og forbindelser, beskær derefter ubrugte portioner væk og efterlader et magert, men yderst effektivt slutprodukt.

"Vores tilgang er, hvad vi kalder et vækst-og-beskær-paradigme, "sagde professor i elektroteknik Niraj Jha." Det ligner, hvad en hjerne gør fra vi er baby til når vi er småbørn. "I sit tredje år, den menneskelige hjerne begynder at fjerne forbindelser mellem hjerneceller. Denne proces fortsætter ind i voksenalderen, så den fuldt udviklede hjerne opererer på omtrent halvdelen af ​​sin synaptiske top.

"Den voksne hjerne er specialiseret til den uddannelse, vi har givet den, " sagde Jha. "Det er ikke så godt til almen læring som en hjerne for småbørn."

Dyrkning og beskæring resulterer i software, der kræver en brøkdel af regnekraften, og bruger derfor langt mindre energi, at lave lige så gode forudsigelser om verden. Begrænsning af energiforbruget er afgørende for at få denne form for avanceret AI - kaldet maskinlæring - på små enheder som telefoner og ure.

"Det er meget vigtigt at køre maskinlæringsmodellerne lokalt, fordi transmission [til skyen] tager masser af energi, " sagde Xiaoliang Dai, en tidligere Princeton kandidatstuderende og første forfatter på de to papirer. Dai er nu forsker hos Facebook.

I den første undersøgelse, forskerne undersøgte igen grundlaget for maskinlæring-de abstrakte kodestrukturer kaldet kunstige neurale netværk. Lån inspiration fra den tidlige barndoms udvikling, teamet designede et neuralt netværkssynteseværktøj (NeST), der genskabte adskillige topneurale netværk fra bunden, automatisk, ved hjælp af sofistikerede matematiske modeller først udviklet i 1980'erne.

NeST starter med kun et lille antal kunstige neuroner og forbindelser, øges i kompleksitet ved at tilføje flere neuroner og forbindelser til netværket, og når den når et givet præstationsbenchmark, begynder at indsnævres med tid og træning. Tidligere forskere havde anvendt lignende beskæringsstrategier, men vokse-og-beskære kombinationen-bevæger sig fra "babyhjernen" til "småbørnshjernen" og slankes mod "voksenhjernen"-repræsenterede et spring fra gammel teori til ny demonstration.

Det andet papir, som omfatter samarbejdspartnere på Facebook og University of California-Berkeley, introducerede en ramme kaldet Kamæleon, der starter med ønskede resultater og arbejder baglæns for at finde det rigtige værktøj til jobbet. Med hundredtusindvis af variationer tilgængelige i de særlige facetter af et design, ingeniører står over for et paradoks af valg, der går langt ud over menneskelig kapacitet. For eksempel:Arkitekturen til at anbefale film ligner ikke den, der genkender tumorer. Systemet, der er indstillet til lungekræft, ser anderledes ud end et for livmoderhalskræft. Demensassistenter kan se anderledes ud for kvinder og mænd. Og så videre, ad infinitum.

Jha beskrev Chameleon som styreingeniører mod en gunstig undergruppe af designs. "Det giver mig et godt kvarter, og jeg kan gøre det på CPU -minutter, "Jha sagde, refererer til et mål for beregningsprocestid. "Så jeg kan meget hurtigt få den bedste arkitektur." Frem for hele den store metropol, man skal kun søge et par gader.

Kamæleon arbejder ved at træne og prøve et relativt lille antal arkitekturer, der repræsenterer en lang række muligheder, forudsiger derefter disse designs ydeevne med et givent sæt betingelser. Fordi det reducerer forudgående omkostninger og fungerer inden for slanke platforme, den meget adaptive tilgang "kunne udvide adgangen til neurale netværk for forskningsorganisationer, der i øjeblikket ikke har ressourcer til at drage fordel af denne teknologi, "ifølge et blogindlæg fra Facebook.