Ny teknik reducerer AI -træningstiden med mere end 60 procent

North Carolina State University -forskere har udviklet en teknik, der reducerer træningstiden for dybe læringsnetværk med mere end 60 procent uden at gå på kompromis med nøjagtigheden, fremskynde udviklingen af ​​nye kunstig intelligens (AI) applikationer.

"Deep learning-netværk er kernen i AI-applikationer, der bruges i alt fra selvkørende biler til computer vision-teknologier, "siger Xipeng Shen, professor i datalogi ved NC State og medforfatter af et papir om værket.

"En af de største udfordringer, som udviklingen af ​​nye AI -værktøjer står over for, er mængden af ​​tid og computerkraft, det tager at træne dybe læringsnetværk til at identificere og reagere på de datamønstre, der er relevante for deres applikationer. Vi har fundet frem til en måde at fremskynde denne proces på, som vi kalder Adaptive Deep Reuse. Vi har vist, at det kan reducere træningstiderne med op til 69 procent uden tab af nøjagtighed. "

Uddannelse af et dybt læringsnetværk indebærer at bryde en dataprøve i stykker af på hinanden følgende datapunkter. Tænk på et netværk designet til at afgøre, om der er en fodgænger i et givet billede. Processen starter med at opdele et digitalt billede i blokke af pixels, der støder op til hinanden. Hver del af data køres gennem et sæt beregningsfiltre. Resultaterne køres derefter gennem et andet sæt filtre. Dette fortsætter iterativt, indtil alle data er blevet kørt gennem alle filtre, gør det muligt for netværket at nå til en konklusion om dataprøven.

Når denne proces er udført for hver dataprøve i et datasæt, det kaldes en epoke. For at finjustere et deep learning-netværk, netværket vil sandsynligvis køre gennem det samme datasæt for hundredvis af epoker. Og mange datasæt består af mellem titusinder og millioner af dataprøver. Masser af iterationer af masser af filtre, der anvendes på masser af data, betyder, at træning af et dybt læringsnetværk kræver meget computerkraft.

Gennembrudsmomentet for Shens forskergruppe kom, da det indså, at mange af datasætene i et datasæt ligner hinanden. For eksempel, en plet af blå himmel i et billede kan ligne en plet af blå himmel andre steder i det samme billede eller en plet af himmel i et andet billede i det samme datasæt.

Ved at genkende disse lignende datastumper, et dyb læringsnetværk kunne anvende filtre på en del data og anvende resultaterne på alle de samme bidder af data i det samme sæt, sparer en masse computerkraft.

"Vi var ikke kun i stand til at demonstrere, at disse ligheder eksisterer, men at vi kan finde disse ligheder for mellemliggende resultater på hvert trin i processen, "siger Lin Ning, en ph.d. studerende ved NC State og hovedforfatter af papiret. "Og vi var i stand til at maksimere denne effektivitet ved at anvende en metode kaldet lokalitetsfølsom hashing."

Men dette rejser to yderligere spørgsmål. Hvor stor skal hver del af data være? Og hvilken tærskel skal dataklumper opfylde for at blive betragtet som "lignende"?

Forskerne fandt ud af, at den mest effektive tilgang var at begynde med at se på relativt store bidder af data ved hjælp af en relativt lav tærskel til bestemmelse af lighed. I de efterfølgende epoker, datastykkerne bliver mindre og lighedstærsklen strengere, forbedring af deep learning -netværkets nøjagtighed. Forskerne designede en adaptiv algoritme, der automatisk implementerer disse inkrementelle ændringer under træningsprocessen.

For at evaluere deres nye teknik, forskerne testede det ved hjælp af tre deep learning -netværk og datasæt, der i vid udstrækning bruges som testbeds af deep learning -forskere:CifarNet ved hjælp af Cifar10; AlexNet ved hjælp af ImageNet; og VGG-19 ved hjælp af ImageNet.

Adaptive Deep Reuse reducerede træningstiden for AlexNet med 69 procent; for VGG-19 med 68 procent; og for CifarNet med 63 procent - alt uden tab af nøjagtighed.

"Dette viser, at teknikken reducerer træningstider drastisk, "siger Hui Guan, en ph.d. studerende ved NC State og medforfatter af papiret. "Det indikerer også, at jo større netværket, jo mere Adaptive Deep Reuse er i stand til at reducere træningstiderne-da AlexNet og VGG-19 begge er væsentligt større end CifarNet. "

"Vi synes, Adaptive Deep Genbrug er et værdifuldt værktøj, og ser frem til at samarbejde med industrien og forskningspartnere for at demonstrere, hvordan det kan bruges til at fremme AI, "Siger Shen.

Papiret, "Adaptiv dyb genbrug:Fremskyndelse af CNN -træning i farten, "vil blive præsenteret på den 35. IEEE internationale konference om datateknik, afholdes 8.-11. april i Macau SAR, Kina.