Forudsigelse af nøjagtigheden af ​​et neuralt netværk før træning

At konstruere en neural netværksmodel for hvert nyt datasæt er det ultimative mareridt for enhver dataforsker. Hvad hvis du kunne forudsige nøjagtigheden af ​​det neurale netværk tidligere takket være akkumuleret erfaring og tilnærmelse? Dette var målet for et nyligt projekt hos IBM Research, og resultatet er TAPAS eller Train-less Accuracy Predictor for Architecture Search (klik for demo). Dens trick er, at den kan vurdere, på brøkdele af et sekund, klassifikationsydelse for usete inputdatasæt, uden træning til både billed- og tekstklassificering.

I modsætning til tidligere foreslåede tilgange, TAPAS er ikke kun kalibreret på den topologiske netværksinformation, men også om karakterisering af datasættets sværhedsgrad, hvilket giver os mulighed for at genindstille forudsigelsen uden træning.

Denne opgave var særligt udfordrende på grund af heterogeniteten af ​​de datasæt, der blev brugt til træning af neurale netværk. De kan have helt forskellige klasser, strukturer, og størrelser, tilføjer kompleksiteten ved at komme med en tilnærmelse. Da mine kolleger og jeg tænkte over, hvordan vi skulle løse dette, vi prøvede ikke at tænke på dette som et problem for en computer, men i stedet for at tænke på, hvordan et menneske ville forudsige nøjagtigheden.

Vi forstod, at hvis du spurgte et menneske med en vis viden om dyb læring, om et netværk ville være godt eller dårligt, den person ville naturligvis have en intuition om det. For eksempel, vi ville erkende, at to typer lag ikke blandes, eller at efter én type lag, der er altid en anden, der følger efter og forbedrer nøjagtigheden. Så vi overvejede, om tilføjelse af funktioner, der ligner denne menneskelige intuition, til en computer kunne hjælpe den med at gøre et endnu bedre stykke arbejde. Og vi havde ret.

Vi testede TAPAS på to datasæt udført på 400 sekunder på en enkelt GPU, og vores bedst opdagede netværk nåede 93,67 % nøjagtighed for CIFAR-10 og 81,01 % for CIFAR-100, verificeret ved træning. Disse netværk klarer sig konkurrencedygtigt med andre automatisk opdagede avancerede netværk, men havde kun brug for en lille brøkdel af tiden til løsning og beregningsressourcer. Vores prædiktor opnår en ydeevne, der overstiger 100 netværk pr. sekund på en enkelt GPU, dermed skabes mulighed for at udføre storstilet arkitektursøgning inden for få minutter. Vi mener, at dette er det første værktøj, der kan lave forudsigelser baseret på usete data.

TAPAS er en af ​​AI-motorerne i IBMs nye banebrydende kapacitet kaldet NeuNetS som en del af AI OpenScale, som kan syntetisere brugerdefinerede neurale netværk i både tekst- og billeddomæner.

I NeuNetS, brugere vil uploade deres data til IBM Cloud, og derefter kan TAPAS analysere dataene og vurdere dem på en skala fra 0-1 med hensyn til opgavens kompleksitet, 0 betyder hårdt og 1 er simpelt. Dernæst begynder TAPAS at indsamle viden fra sit referencebibliotek på udkig efter lignende datasæt baseret på, hvad brugeren har uploadet. Så baseret på dette, TAPAS kan præcist forudsige, hvordan et nyt netværk vil præstere på det nye datasæt, meget lig hvordan et menneske ville bestemme det.

Dagens efterspørgsel efter datavidenskabelige færdigheder overstiger allerede det nuværende udbud, ved at blive en reel barriere for indførelse af kunstig intelligens i industrien og samfundet. TAPAS er en grundlæggende milepæl for nedrivningen af ​​denne mur. IBM og Zürich Research Laboratory arbejder på at gøre AI-teknologier så nemme at bruge, som et par klik på en mus. Dette vil give ikke-ekspertbrugere mulighed for at bygge og implementere AI-modeller på en brøkdel af den tid, det tager i dag – og uden at ofre nøjagtigheden. I øvrigt, disse værktøjer vil gradvist lære over brugen i specialiserede domæner og automatisk forbedres over tid, bliver bedre og bedre.

Denne historie er genudgivet med tilladelse fra IBM Research. Læs den originale historie her.