Kunstig neuron-enhed kunne skrumpe energiforbruget og størrelsen af ​​neurale netværkshardware

Træning af neurale netværk til at udføre opgaver, genkende billeder eller navigere i selvkørende biler, kunne en dag kræve mindre computerkraft og hardware takket være en ny kunstig neuron enhed udviklet af forskere ved University of California San Diego. Enheden kan køre neurale netværksberegninger ved at bruge 100 til 1000 gange mindre energi og areal end eksisterende CMOS-baseret hardware.

Forskere rapporterer deres arbejde i et papir offentliggjort 18. Mar Natur nanoteknologi .

Neurale netværk er en række forbundne lag af kunstige neuroner, hvor output fra et lag giver input til det næste. Generering af dette input sker ved at anvende en matematisk beregning kaldet en ikke-lineær aktiveringsfunktion. Dette er en kritisk del af driften af ​​et neuralt netværk. Men at anvende denne funktion kræver meget computerkraft og kredsløb, fordi det involverer overførsel af data frem og tilbage mellem to separate enheder - hukommelsen og en ekstern processor.

Nu, UC San Diego-forskere har udviklet en enhed på nanometerstørrelse, der effektivt kan udføre aktiveringsfunktionen.

"Neurale netværksberegninger i hardware bliver mere og mere ineffektive, efterhånden som de neurale netværksmodeller bliver større og mere komplekse, " sagde Duygu Kuzum, en professor i elektro- og computerteknik ved UC San Diego Jacobs School of Engineering. "Vi udviklede en enkelt kunstig neuron-enhed i nanoskala, der implementerer disse beregninger i hardware på en meget areal- og energieffektiv måde."

Den nye undersøgelse, ledet af Kuzum og hendes ph.d. studerende Sangheon Åh, blev udført i samarbejde med et DOE Energy Frontier Research Center ledet af UC San Diego fysikprofessor Ivan Schuller, som fokuserer på udvikling af hardwareimplementeringer af energieffektive kunstige neurale netværk.

Enheden implementerer en af ​​de mest almindeligt anvendte aktiveringsfunktioner i neuralt netværkstræning kaldet en retificeret lineær enhed. Det særlige ved denne funktion er, at den har brug for hardware, der kan gennemgå en gradvis ændring i modstand for at kunne fungere. Og det er præcis, hvad UC San Diego-forskerne konstruerede deres enhed til at gøre - den kan gradvist skifte fra en isolerende til en ledende tilstand, og det gør den ved hjælp af en lille smule varme.

Denne switch er det, der kaldes en Mott-overgang. Det foregår i et nanometer-tyndt lag af vanadiumdioxid. Over dette lag er en nanotrådvarmer lavet af titanium og guld. Når strømmen løber gennem nanotråden, vanadiumdioxidlaget opvarmes langsomt, forårsager en langsom, styret skifte fra isolerende til ledende.

"Denne enhedsarkitektur er meget interessant og innovativ, " sagde Åh, hvem er undersøgelsens første forfatter. Typisk, materialer i en Mott-overgang oplever et brat skifte fra isolerende til ledende, fordi strømmen løber direkte gennem materialet, forklarede han. "I dette tilfælde, vi flyder strøm gennem en nanotråd oven på materialet for at opvarme det og inducere en meget gradvis modstandsændring."

For at implementere enheden, forskerne fremstillede først en række af disse såkaldte aktiverings (eller neuron) enheder, sammen med et synaptisk enhedsarray. Derefter integrerede de de to arrays på et brugerdefineret printkort og forbandt dem sammen for at skabe en hardwareversion af et neuralt netværk.

Forskerne brugte netværket til at behandle et billede - i dette tilfælde, et billede af Geisel Library ved UC San Diego. Netværket udførte en type billedbehandling kaldet kantdetektion, som identificerer konturerne eller kanterne af objekter i et billede. Dette eksperiment viste, at det integrerede hardwaresystem kan udføre foldningsoperationer, der er essentielle for mange typer dybe neurale netværk.

Forskerne siger, at teknologien kunne skaleres yderligere op til at udføre mere komplekse opgaver såsom ansigts- og objektgenkendelse i selvkørende biler. Med interesse og samarbejde fra industrien, dette kunne ske, bemærkede Kuzum.

"Lige nu, dette er et proof of concept, " sagde Kuzum. "Det er et lillebitte system, hvor vi kun stablede et synapselag med et aktiveringslag. Ved at stable flere af disse sammen, du kunne lave et mere komplekst system til forskellige applikationer."