Ny synaptisk arkitektur til hjerneinspireret computing

Hjernen og alle dens storslåede egenskaber drives af mindre end 20 watt. Stop med at tænke over det et øjeblik. Mens jeg skriver denne blog, bruger min bærbare computer omkring 80 watt, dog på kun en fjerdedel af magten, vores hjerne udkonkurrerer state-of-the-art supercomputere med flere størrelsesordener, når det kommer til energieffektivitet og volumen. Naturen er virkelig bemærkelsesværdig.

Af denne grund burde det ikke være overraskende, at forskere rundt om i verden søger inspiration fra den menneskelige hjerne som en lovende vej til udviklingen af ​​næste generations AI -computersystemer, og mens IT -industrien har gjort betydelige fremskridt i de sidste flere år, især ved brug af maskinlæring til computersyn og talegenkendelse, den nuværende teknologi rammer en væg, når det kommer til dybe neurale netværk, der matcher deres biologiske modstykkeseffektivitet, men dette kan være ved at ændre sig.

Som rapporteret i sidste uge i Naturkommunikation , mine kolleger og jeg ved IBM Research og samarbejdspartnere ved EPFL og New Jersey Institute of Technology har udviklet og eksperimentelt testet en kunstig synapsarkitektur ved hjælp af 1 million enheder-et vigtigt skridt i retning af at realisere storstilet og energieffektiv neuromorf computingteknologi.

Da den geniale videnskabsmand John von Neumann byggede nutidens computerarkitektur, som driver næsten 100 procent af verdens computere, han beholdt hukommelsen og behandlingen separat. Det betyder, at data konstant skal køres frem og tilbage, genererer varme og kræver meget energi - det er en effektiv flaskehals. Hjernen har naturligvis ikke forskellige rum, derfor er det så effektivt. Men dette afskrækkede ikke teams fra at holde fast ved von Neumanns design for at bygge et neuralt netværk, og selvom de har en vis succes, effektiviteten af ​​disse systemer er stadig lav - du kan simpelthen ikke slå naturen.

For nylig, forskere, herunder dem hos IBM, har taget en anden tilgang baseret på en ny klasse af nanoskalaenheder, kendt som memristive -enheder, som har vist et stort løfte i håndteringen af ​​denne flaskehals. Vores enhedsdesign er baseret på noget, der kaldes faseændringshukommelse (PCM), uden tvivl den mest avancerede nye ikke-flygtige hukommelsesteknologi. En elektrisk puls påføres materialet, som ændrer apparatets konduktans på grund af dets fysiske egenskaber.

Som forklaret i vores papir:"Memristive -enheder, såsom PCM -enheder, gemmer oplysninger i deres modstands-/konduktanstilstande og udviser konduktivitetsmodulation baseret på programmeringshistorikken. Den centrale idé i opbygningen af ​​kognitiv hardware baseret på memristive -enheder er at gemme de synaptiske vægte som deres konduktansstilstande og til at udføre de tilhørende beregningsopgaver på plads. præcis modulering af enhedens konduktans over et bredt dynamisk område, nødvendigt for at opretholde en høj netværksnøjagtighed, viser sig at være udfordrende. "

Vores gennembrud er i vores design, som vi kalder en multi-memristiv synaptisk arkitektur. Denne arkitektur gør det muligt for os at øge den synaptiske præcision uden at øge effekttætheden, selvom vi bruger flere memristive enheder til at repræsentere en synaps. Tricket er, at vi har en god udvælgelsesmekanisme, baseret på en global tæller, som fortæller enheden, at den skal ændres, og hvornår. Den eneste straf eller omkostning er kravet om mere fast ejendom til de ekstra PCM-enheder.

For at teste vores arkitektur, vi uddannede både spiking og et ikke-spiking neurale netværk. Vores valgte data er populære - MNIST -datasættet med håndskrevne cifre, og vores opgave er håndskrevet ciffergenkendelse - hovedsageligt skal vores netværk genkende, hvilket tal der vises fra de håndskrevne billeder. I begge tilfælde, vi ser, at multi-memristive synapsen væsentligt overgår de konventionelle differentialarkitekturer med to enheder, klart illustrerer effektiviteten af ​​den foreslåede arkitektur. Et højdepunkt i arbejdet er en eksperimentel demonstration af den multi-memristive synaptiske arkitektur i et pigget neuralt netværk ved hjælp af mere end 1 million faseændringshukommelsesenheder.

Arkitekturen kan anvendes på en bred vifte af neurale netværk og memristive teknologier og er kompatibel med tværstænger. Den foreslåede arkitektur og dens eksperimentelle demonstration er et vigtigt skridt i retning af virkeliggørelse af meget effektiv, neurale netværk i stor skala baseret på memristive-enheder med typiske, eksperimentelt observeret ikke-ideelle egenskaber. Have sagt, at, vi er også fokuseret på at forbedre selve memristive -enheden, det er nøjagtighed og dynamisk rækkevidde, og så tror vi, at vi kan sigte efter den hellige gral - floating point -præstation.