En ferroelektrisk ternær indholdsadresserbar hukommelse til forbedring af deep learning-modeller

De fleste deep-learning algoritmer fungerer godt, når de trænes i store sæt mærkede data, men deres ydeevne har en tendens til at falde, når de behandler nye data. Forskere over hele verden har således forsøgt at udvikle teknikker, der kan forbedre disse algoritmes evne til at generalisere godt på tværs af både nye og tidligere behandlede data, muliggøre det, der kaldes livslang læring.

Forskere ved University of Notre Dame og GlobalFoundries Fab1 har for nylig udviklet en ny metode til at lette livslang læring i kunstige neurale netværk, hvilket indebærer brug af en ferroelektrisk ternær indholdsadresserbar hukommelseskomponent. Deres undersøgelse, fremhævet i Naturelektronik , havde til formål at replikere den menneskelige hjernes evne til hurtigt at lære af kun få eksempler, tilpasning til nye opgaver baseret på tidligere erfaringer.

"Når et uddannet dybt neuralt netværk støder på tidligere usete klasser, den undlader ofte at generalisere ud fra sin forudgående viden og skal genlære netværksparametrene for at udtrække relevant information fra den givne klasse, "Kai Ni, en af ​​forskerne, der gennemførte undersøgelsen, fortalte TechXplore. "Dette nødvendiggør, at store mængder af mærkede data stilles til rådighed for netværkstræning."

En tilgang designet til at forbedre ydelsen af ​​dybe neurale netværk på tidligere usete data indebærer integration af en opmærksom hukommelseskomponent. Denne komponent giver algoritmerne mulighed for at basere deres analyser på tidligere erhvervet viden, tilpasse den til at løse nye og alligevel lidt lignende opgaver. Algoritmer med en opmærksom hukommelseskomponent, kendt som hukommelsesforstærkede neurale netværk (MANN'er), er typisk i stand til at udtrække funktioner fra data, gem dem i deres opmærksomhedshukommelse og hent dem, når du udfører en ny opgave.

"En nøglefunktion i hukommelsesmodulet er indholdsbaseret adressering, hvor afstanden mellem en søgevektor og alle lagrede vektorer beregnes for at finde det nærmeste match. I en konventionel tilgang, de lagrede hukommelsesvektorer (i DRAM) skal overføres til en beregningsenhed (CPU eller GPU) for at sammenligne afstande med en given forespørgsel, "Sagde Ni." Som sådan, begrænsninger i energidissipation og latenstid kan repræsentere betydelige udfordringer for at skalere MANN'er. I dette arbejde, Vi foreslår at anvende ferroelektrisk ternært indhold adresserbar hukommelse (TCAM) som netværkets opmærksomhedshukommelse for at overvinde denne flaskehals. "

Ved at beregne afstanden mellem en forespørgselsvektor og hver lagret hukommelsespost direkte i sig selv, TCAM -komponenten, der blev introduceret af Ni og hans kolleger, undgår dyre dataoverførsler. TCAM er i det væsentlige afhængig af, at afladningsstrømmen gennem en matchlinje er proportional med Hamming -afstanden (HD) mellem forespørgslen og den lagrede post.

Ved at registrere denne afladningsstrøm kan forskerne beregne HD direkte i hukommelseskomponenten parallelt. TCAM tillader også deep learning-modeller at udføre indholdsbaserede hukommelsesopdateringer frem for tilfældige adresse-baserede dataopdateringer.

"For at muliggøre en effektiv interaktion mellem det neurale netværk (arbejder med flydende tal) og TCAM -arrayet (kun beregning af HD -afstanden), vi anvendte en lokalitetsfølsom hashing (LSH) -funktion til at kortlægge en reelt værdsat funktionsvektor ekstraheret fra NN til et binært signaturrum, som muliggør en Hamming -afstandsbaseret nærmeste nabo -søgning inden for TCAM -arrayet, "Forklarede Ni.

Ni og hans kolleger evaluerede deres ferroelektriske TCAM -prototype i en række forsøg, hvor et dybt neuralt netværk skulle lære at udføre nye opgaver baseret på et eller flere eksempler. Når den er implementeret på en GPU understøttet af ekstern DRAM, deres metode førte til klassificeringsnøjagtigheder, der nærmer sig dem, der opnås ved en mere konventionel metode baseret på cosinusafstandsberegning (f.eks. en nøjagtighed på 99,5 procent mod en nøjagtighed på 99,05 procent for en 20-vejs, fem-shot læringsproblem). Bemærkelsesværdigt, det TCAM-baserede system opnåede nøjagtigheder svarende til dem i den mere konventionelle tilgang med en 60-faldig reduktion i energiforbrug og 2, 700-faldig reduktion i latens for en enkelt søgning.

"Bidragene fra denne forskning er flere gange, "Sagde Ni." For det første, vi demonstrerede den mest kompakte TCAM -celle til dato, som kun består af to FeFET'er, men giver den højeste hukommelsestæthed og sandsynligvis generelt den bedste ydelse blandt alle de andre alternativer. For det andet, vi demonstrerede funktionaliteten ved HD -afstandsberegning med et TCAM -array. Endelig, vi anvendte TCAM-kernen i MANN til one-shot læring og leverer en ende-til-ende systemløsning. "

I fremtiden, den nye hukommelseskomponent foreslået af Ni og hans kolleger kunne hjælpe med udviklingen af ​​mere effektive dybe læringsbaserede modeller, der fungerer godt på både velkendte og nye opgaver. Forskerne planlægger nu at udvikle en større TCAM-baseret prototype, der kan muliggøre en yderligere forøgelse af ydeevnen.

"Det eksisterende arbejde demonstrerer vores tilgang i lille skala på grund af vores begrænsninger i måleopsætningen, "Sagde Ni." Vi planlægger at designe et større array, sammen med vigtige perifere kredsløb, så TCAM kan være et enkeltstående modul. Udover det, enhedsniveauoptimering er stadig nødvendig for at forbedre FeFET -udholdenheden, variation, og pålidelighed osv. "

© 2019 Science X Network