Denne nye computerchip er ideel til kunstig intelligens

Kunstig intelligens udgør en stor udfordring for konventionel computerarkitektur. I standardmodeller finder hukommelseslagring og databehandling sted i forskellige dele af maskinen, og data skal flyttes fra dets lagerområde til en CPU eller GPU til behandling.

Problemet med dette design er, at bevægelse tager tid. For meget tid. Du kan have den mest kraftfulde processorenhed på markedet, men dens ydeevne vil være begrænset, da den er inaktiv og venter på data, et problem kendt som "hukommelsesvæggen" eller "flaskehalsen".

Når databehandling overgår hukommelsesoverførsel, er latency uundgåelig. Disse forsinkelser bliver alvorlige problemer, når man håndterer de enorme mængder data, der er afgørende for maskinlæring og AI-applikationer.

Efterhånden som AI-software fortsætter med at udvikle sig i sofistikering, og fremkomsten af ​​det sensortunge Internet of Things producerer større og større datasæt, har forskere sat fokus på hardware-redesign for at levere nødvendige forbedringer i hastighed, smidighed og energiforbrug.

Et team af forskere fra University of Pennsylvania's School of Engineering and Applied Science har i samarbejde med forskere fra Sandia National Laboratories og Brookhaven National Laboratory introduceret en computerarkitektur, der er ideel til AI.

Ledet af Deep Jariwala, adjunkt i Institut for Elektrisk og Systemteknik (ESE), Troy Olsson, lektor i ESE, og Xiwen Liu, en Ph.D. kandidat i Jarawalas Device Research and Engineering Laboratory, stolede forskergruppen på en tilgang kendt som compute-in-memory (CIM).

I CIM-arkitekturer foregår behandling og lagring på samme sted, hvilket eliminerer overførselstid samt minimerer energiforbruget. Holdets nye CIM-design, emnet for en nylig undersøgelse offentliggjort i Nano Letters , er kendt for at være fuldstændig transistorfri. Dette design er unikt tilpasset til den måde, Big Data-applikationer har transformeret computerens natur.

"Selv når de bruges i en compute-in-memory arkitektur, kompromitterer transistorer adgangstiden for data," siger Jariwala. "De kræver en masse ledninger i det overordnede kredsløb på en chip og bruger dermed tid, plads og energi ud over, hvad vi ønsker til AI-applikationer. Det smukke ved vores transistorfrie design er, at det er enkelt, lille og hurtigt og det kræver meget lidt energi."

Fremgangen er ikke kun på kredsløbsniveau design. Denne nye computerarkitektur bygger på holdets tidligere arbejde inden for materialevidenskab med fokus på en halvleder kendt som scandium-legeret aluminiumnitrid (AlScN). AlScN giver mulighed for ferroelektrisk switching, hvis fysik er hurtigere og mere energieffektiv end alternative ikke-flygtige hukommelseselementer.

"En af dette materiales nøgleegenskaber er, at det kan aflejres ved temperaturer, der er lave nok til at være kompatible med siliciumstøberier," siger Olsson. "De fleste ferroelektriske materialer kræver meget højere temperaturer. AlScNs specielle egenskaber betyder, at vores demonstrerede hukommelsesenheder kan gå oven på siliciumlaget i en lodret hetero-integreret stak. Tænk på forskellen mellem en parkeringsplads med flere etager med en kapacitet på hundrede biler og en hundrede individuelle parkeringspladser spredt ud over en enkelt plads. Hvad er mere effektivt med hensyn til plads? Det samme er tilfældet for information og enheder i en meget miniaturiseret chip som vores. Denne effektivitet er lige så vigtig for applikationer, der kræver ressourcebegrænsninger, som f.eks. som mobile eller bærbare enheder, som det er til applikationer, der er ekstremt energikrævende, såsom datacentre."

I 2021 etablerede holdet AlScN's levedygtighed som et kraftcenter for compute-in-memory. Dens kapacitet til miniaturisering, lave omkostninger, ressourceeffektivitet, lette fremstilling og kommercielle gennemførlighed viste alvorlige fremskridt i forskningens og industriens øjne.

I den seneste undersøgelse, der debuterede det transistorfrie design, observerede holdet, at deres CIM-ferrodiode muligvis kan yde op til 100 gange hurtigere end en konventionel computerarkitektur.

Anden forskning på området har med succes brugt compute-in-memory arkitekturer til at forbedre ydeevnen for AI-applikationer. Disse løsninger har dog været begrænsede, ude af stand til at overvinde den modstridende afvejning mellem ydeevne og fleksibilitet. Computerarkitektur ved hjælp af memristor-tværbjælkearrays, et design, der efterligner strukturen af ​​den menneskelige hjerne for at understøtte ydeevne på højt niveau i neurale netværksoperationer, har også vist beundringsværdige hastigheder.

Alligevel er neurale netværksoperationer, som bruger lag af algoritmer til at fortolke data og genkende mønstre, kun en af ​​flere nøglekategorier af dataopgaver, der er nødvendige for funktionel AI. Designet er ikke tilpasningsdygtigt nok til at tilbyde tilstrækkelig ydeevne på andre AI-dataoperationer.

Penn-teamets ferrodiode-design tilbyder banebrydende fleksibilitet, som andre compute-in-memory-arkitekturer ikke gør. Den opnår overlegen nøjagtighed og yder lige så godt i ikke én men tre væsentlige dataoperationer, der danner grundlaget for effektive AI-applikationer. Den understøtter lagring på chip eller kapaciteten til at opbevare de enorme mængder data, der kræves til dyb læring, parallel søgning, en funktion, der muliggør nøjagtig datafiltrering og analyse, og matrixmultiplikationsacceleration, kerneprocessen i neurale netværkscomputere.

"Lad os sige," siger Jariwala, "at du har en AI-applikation, der kræver en stor hukommelse til opbevaring samt evnen til at udføre mønstergenkendelse og søgning. Tænk selvkørende biler eller autonome robotter, som skal reagere hurtigt og præcist til dynamiske, uforudsigelige miljøer. Ved at bruge konventionelle arkitekturer ville du have brug for et andet område af chippen til hver funktion, og du ville hurtigt brænde igennem tilgængeligheden og pladsen. Vores ferrodiodedesign giver dig mulighed for at gøre det hele på ét sted ved blot at ændre måden du anvender spændinger for at programmere det."

Udbyttet af en CIM-chip, der kan tilpasse sig flere dataoperationer, er klar:Når holdet kørte en simulering af en maskinlæringsopgave gennem deres chip, udførte den med en sammenlignelig grad af nøjagtighed som AI-baseret software, der kører på en konventionel CPU.

"Denne forskning er meget vigtig, fordi den beviser, at vi kan stole på hukommelsesteknologi til at udvikle chips, der integrerer flere AI-dataapplikationer på en måde, der virkelig udfordrer konventionelle computerteknologier," siger Liu, den første forfatter på undersøgelsen.

Teamets designtilgang er en, der tager højde for, at AI hverken er hardware eller software, men et væsentligt samarbejde mellem de to.

"Det er vigtigt at indse, at al den AI-databehandling, der i øjeblikket udføres, er softwareaktiveret på en siliciumhardwarearkitektur designet for årtier siden," siger Jariwala. "Det er grunden til, at kunstig intelligens som et felt er blevet domineret af computer- og softwareingeniører. Grundlæggende redesign af hardware til AI vil blive den næste store game changer inden for halvledere og mikroelektronik. Den retning, vi går i nu, er hardware og software co-design."

"Vi designer hardware, der får software til at fungere bedre," tilføjer Liu, "og med denne nye arkitektur sikrer vi, at teknologien ikke kun er hurtig, men også præcis." + Udforsk yderligere

En fire-megabit nvCIM-makro til edge AI-enheder