Åbn den sorte boks med automatiseret maskinlæring

Forskere fra MIT og andre steder har udviklet et interaktivt værktøj, der, for første gang, lader brugerne se og kontrollere, hvordan automatiserede maskinlæringssystemer fungerer. Målet er at opbygge tillid til disse systemer og finde måder at forbedre dem på.

Design af en maskinlæringsmodel til en bestemt opgave – såsom billedklassificering, sygdomsdiagnoser, og aktiemarkedsforudsigelse - er en besværlig, tidskrævende proces. Eksperter vælger først blandt mange forskellige algoritmer at bygge modellen op omkring. Derefter, de justerer manuelt "hyperparametre" - som bestemmer modellens overordnede struktur - før modellen begynder at træne.

Nyligt udviklede automatiserede maskinlæringssystemer (AutoML) tester og ændrer iterativt algoritmer og disse hyperparametre, og vælg de bedst egnede modeller. Men systemerne fungerer som "sorte bokse, " hvilket betyder, at deres udvælgelsesteknikker er skjult for brugerne. Derfor brugere stoler muligvis ikke på resultaterne og kan finde det svært at skræddersy systemerne til deres søgebehov.

I et papir præsenteret på ACM CHI-konferencen om menneskelige faktorer i computersystemer, forskere fra MIT, Hong Kong University of Science and Technology (HKUST), og Zhejiang University beskriver et værktøj, der lægger analyser og kontrol af AutoML-metoder i brugernes hænder. Kaldet ATMSeer, værktøjet tager som input et AutoML-system, et datasæt, og nogle oplysninger om en brugers opgave. Derefter, det visualiserer søgeprocessen i en brugervenlig grænseflade, som præsenterer dybdegående information om modellernes ydeevne.

"Vi lader brugerne vælge og se, hvordan AutoML-systemerne fungerer, " siger medforfatter Kalyan Veeramachaneni, en hovedforsker i MIT Laboratory for Information and Decision Systems (LIDS), der leder Data to AI-gruppen. "Du kan simpelthen vælge den bedste model, eller du kan have andre overvejelser eller bruge domæneekspertise til at guide systemet til at søge efter nogle modeller frem for andre."

I casestudier med naturvidenskabelige kandidatstuderende, hvem var AutoML-novice, forskerne fandt, at omkring 85 procent af deltagerne, der brugte ATMSeer, var sikre på de modeller, som systemet valgte. Næsten alle deltagere sagde, at brugen af ​​værktøjet gjorde dem komfortable nok til at bruge AutoML-systemer i fremtiden.

"Vi fandt ud af, at folk var mere tilbøjelige til at bruge AutoML som et resultat af at åbne den sorte boks og se og kontrollere, hvordan systemet fungerer, " siger Micah Smith, en kandidatstuderende ved Institut for Elektroteknik og Datalogi (EECS) og en forsker i LIDS.

"Datavisualisering er en effektiv tilgang til bedre samarbejde mellem mennesker og maskiner. ATMSeer eksemplificerer denne idé, " siger hovedforfatter Qianwen Wang fra HKUST. "ATMSeer vil for det meste gavne maskinlæringsudøvere, uanset deres domæne, [som] har et vist niveau af ekspertise. Det kan lindre smerten ved manuelt at vælge maskinlæringsalgoritmer og tune hyperparametre."

slutter sig til Smith, Veeramachaneni, og Wang på papiret er:Yao Ming, Qiaomu Shen, Dongyu Liu, og Huamin Qu, hele HKUST; og Zhihua Jin fra Zhejiang University.

Tuning af modellen

Kernen i det nye værktøj er et tilpasset AutoML-system, kaldet "Auto-Tuned Models" (ATM), udviklet af Veeramachaneni og andre forskere i 2017. I modsætning til traditionelle AutoML-systemer, ATM katalogiserer fuldt ud alle søgeresultater, da den forsøger at tilpasse modeller til data.

ATM tager som input ethvert datasæt og en kodet forudsigelsesopgave. Systemet vælger tilfældigt en algoritmeklasse - såsom neurale netværk, beslutningstræer, tilfældig skov, og logistisk regression – og modellens hyperparametre, såsom størrelsen af ​​et beslutningstræ eller antallet af neurale netværkslag.

Derefter, systemet kører modellen mod datasættet, iterativt indstiller hyperparametrene, og måler ydeevne. Den bruger, hvad den har lært om den models ydeevne til at vælge en anden model, og så videre. Til sidst, systemet udsender adskillige toppræsterende modeller til en opgave.

Tricket er, at hver model i det væsentlige kan behandles som ét datapunkt med nogle få variabler:algoritme, hyperparametre, og ydeevne. At bygge videre på det arbejde, forskerne designet et system, der plotter datapunkterne og variablerne på udpegede grafer og diagrammer. Derfra, de udviklede en separat teknik, der også lader dem omkonfigurere disse data i realtid. "Tricket er, at med disse værktøjer, alt hvad du kan visualisere, du kan også ændre, " siger Smith.

Lignende visualiseringsværktøjer er skræddersyet til kun at analysere én specifik maskinlæringsmodel, og tillade begrænset tilpasning af søgeområdet. "Derfor, de tilbyder begrænset support til AutoML-processen, hvor konfigurationerne af mange søgte modeller skal analyseres, " siger Wang. "I modsætning hertil, ATMSeer understøtter analysen af ​​maskinlæringsmodeller genereret med forskellige algoritmer."

Brugerkontrol og tillid

ATMSeers grænseflade består af tre dele. Et kontrolpanel giver brugerne mulighed for at uploade datasæt og et AutoML-system, og start eller sæt søgeprocessen på pause. Nedenfor er et oversigtspanel, der viser grundlæggende statistikker – såsom antallet af søgte algoritmer og hyperparametre – og en "leaderboard" af de bedst ydende modeller i faldende rækkefølge. "Dette er måske den udsigt, du er mest interesseret i, hvis du ikke er en ekspert, der dykker ned i de små, grove detaljer, " siger Veeramachaneni.

ATMSeer inkluderer en "AutoML Profiler, " med paneler, der indeholder dybdegående information om algoritmerne og hyperparametrene, som alle kan justeres. Et panel repræsenterer alle algoritmeklasser som histogrammer - et søjlediagram, der viser fordelingen af ​​algoritmens præstationsscore, på en skala fra 0 til 10, afhængigt af deres hyperparametre. Et separat panel viser scatter-plot, der visualiserer afvejningerne i ydeevne for forskellige hyperparametre og algoritmeklasser.

Casestudier med maskinlæringseksperter, som ikke havde nogen AutoML-erfaring, afsløret, at brugerkontrol hjælper med at forbedre ydeevnen og effektiviteten af ​​AutoML-valg. Brugerundersøgelser med 13 kandidatstuderende inden for forskellige videnskabelige områder - såsom biologi og finans - var også afslørende. Resultaterne viser tre hovedfaktorer - antallet af søgte algoritmer, system køretid, og at finde den bedste model – bestemte, hvordan brugere tilpassede deres AutoML-søgninger. Disse oplysninger kan bruges til at skræddersy systemerne til brugerne, siger forskerne.

"Vi er lige begyndt at se begyndelsen på de forskellige måder, folk bruger disse systemer og foretager valg på, " siger Veeramachaneni. "Det er fordi nu, hvor denne information er samlet ét sted, og folk kan se, hvad der foregår bag kulisserne og har magten til at kontrollere det."

Denne historie er genudgivet med tilladelse fra MIT News (web.mit.edu/newsoffice/), et populært websted, der dækker nyheder om MIT-forskning, innovation og undervisning.