Forskere designer ny metode til energieffektive dybe neurale netværk

En Oak Ridge National Laboratory-metode til at forbedre energieffektiviteten af ​​videnskabelig kunstig intelligens viser tidligt lovende i bestræbelserne på at analysere indsigt fra mængder af cancerdata.

Forskere indser potentialet i dyb læring for hurtigt at fremme videnskab, men at "træne" de underliggende neurale netværk med store mængder data til at tackle den aktuelle opgave kan kræve store mængder energi. Disse netværk kræver også komplekse tilslutningsmuligheder og enorme mængder lager, som begge yderligere reducerer deres energieffektivitet og potentiale i virkelige applikationer.

For at løse dette problem, ORNLs Mohammed Alawad, Hong-Jun Yoon, og Georgia Tourassi udviklede en ny metode til udvikling af energieffektive dybe neurale netværk, der er i stand til at løse komplekse videnskabelige problemer. De præsenterede deres forskning på 2017 IEEE Conference on Big Data i Boston.

Forskerne viste, at ved at konvertere deep learning neurale netværk (DNN'er) til "deep spiking" neurale netværk (DSNN'er), de kan forbedre energieffektiviteten ved netværksdesign og realisering.

DSNN'er imiterer neuroner i den menneskelige hjerne via pulser eller "spidser" i stedet for faktiske signaler, med de enkelte pigge, der angiver, hvor beregningerne skal udføres. Denne proces minimerer de nødvendige beregninger og maksimerer netværkets energieffektivitet. Imidlertid, energieffektivitet kommer på bekostning af opgaveudførelse, og forfatternes nye stokastiske metode til implementering af DSNN'er overvinder denne afvejning.

Resultaterne var imponerende:teamets tilgang opnåede næsten samme nøjagtighed som det originale DNN og klarede sig bedre end et topmoderne spidsende neuralt netværk. Teamets stokastisk baserede DSNN, som fordeler pigge ensartet over tid, forbrugt 38 gange mindre energi end den originale DNN og næsten 2 gange mindre energi end en konventionel DSNN og samtidig levere en markant bedre opgaveydelse.

Forskerne trænede deres netværk på kliniske tekstdata fra National Cancer Institute's Surveillance, Epidemiologi, og slutresultater (SEER) program, som giver kræftstatistikker såsom forekomst, udbredelse, og dødelighed på tværs af befolkningen forbundet med alder, køn, race, diagnoseår, og geografiske områder.

ORNL-teamet anvendte de nyuddannede netværk til kliniske patologirapporter, den vigtigste informationskilde for det nationale kræftovervågningsprogram. Disse rapporter indeholder enorme mængder ustruktureret tekst, sagde Yoon, og forskere udvikler intelligente sprogforståelsessystemer til at udtrække de mest relevante kliniske begreber i teksthavet.

De kliniske rapporter repræsenterer et "sparsomt" datasæt, som typisk udgør unikke udfordringer for spiking -netværk. De fleste DSNN-teknikker har fokuseret på computervisionsopgaver såsom MNIST-datasættet, som består af en række håndskrevne cifre til at træne billedbehandlingsnetværk. Disse datasæt er typisk "tætte, "hvilket betyder, at alle variabler i datasættet er udfyldt med værdier, en egenskab, der ofte forenkler analyser.

Traditionelle teknikker til at forbedre ydeevnen og energieffektiviteten af ​​spiknetværk bevarer ofte strukturerne af konventionelle neurale netværk, en praksis, der ofrer nøjagtighed og ydeevne. Disse mangler fik holdet til at udvikle en ny metode, som er afhængig af simpel kredsløbshardware til at udføre komplekse beregninger.

"Spiking af netværket sænker energiforbruget, fordi vi ser bort fra de unødvendige beregninger, og vi ser kun efter de relevante knudepunkter i netværket, " sagde Yoon, "og dette er en måde, hvorpå vi opnår energieffektivitetsforbedringer, samtidig med at vi identificerer vigtig klinisk information med høj nøjagtighed."

Holdets teknik vil hjælpe ORNL-forskere i projektet CANcer Distributed Learning Environment (CANDLE), som har til formål at bruge laboratoriets verdensklasse big data ekspertise og computerfaciliteter til at scanne millioner af kliniske rapporter i søgen efter indsigt i årsager til kræft, bedste behandlingsforløb, og forbedrede resultater. De vil snart forsøge at parallelisere algoritmen for mere beregningseffektivitet.

Spiking-netværkene var optimeret på grafikbehandlingsenheder (GPU'er), de foretrukne processorer til kunstige intelligente applikationer, især dem, der bruger maskinlæring og deep learning. Imidlertid, metoden kan udvides til træning af spiknetværk, yderligere at øge energieffektiviteten af ​​disse nye netværk, samtidig med at den videnskabelige opdagelse fremskyndes via dyb læring.