En ny udviklingsramme kan give robotter mulighed for at optimere hyperparametre autonomt

Forskere ved Ecole Centrale de Lyon har for nylig udtænkt en ny udviklingsramme inspireret af menneskers langsigtede hukommelse og ræsonnement. Denne ramme, skitseret i et papir præsenteret på IEEE ICDL-Epirob i Tokyo og forududgivet på arXiv, giver robotter mulighed for autonomt at optimere hyperparametre, der er indstillet fra enhver handling og/eller visionsmodul, som behandles som en sort boks.

I de seneste år, forskere har bygget robotter, der kan udføre en række forskellige opgaver. Ikke desto mindre, miljøet, hvori disse robotter opererer, er ofte noget begrænset. Dette skyldes, at inden for robotik, de fleste algoritmer er udformet og optimeret manuelt af menneskelige eksperter for at foregribe de potentielle udfordringer, robotten kan støde på inden for en given situation.

"Imidlertid, når man håndterer usikkerheder, for eksempel, når robotten ofte skal håndtere nye objekter i løbet af sin levetid, altid at stole på yderligere programmer og optimering fra menneskelige ingeniører er ikke levedygtigt:robotten skal lære af sig selv, "Dr. Maxime Petit, en af ​​forskerne, der gennemførte undersøgelsen, fortalte TechXplore. "Vi ønsker at give robotter læringsmekanismer, så de kan være autonome og tilpasse sig forskellige situationer, også når disse ikke forventes. "

At udvikle robotter, der automatisk tilpasser sig forskellige situationer, kan have en række nyttige applikationer, for eksempel, i forbindelse med industriel robotik, hvor robotarme skal opfange ukendte genstande fra homogene bulks.

"Vi ønskede, at robotten autonomt optimerede parametrene for en visionbaseret grebsoftware (Kamido af Siléane) for hvert objekt på mindre end et par timer, "Petit forklarede." For at gøre det, vi brugte en udviklingsramme, der har til formål at replikere, hvordan børn lærer om verden. I særdeleshed, vi ønsker at drage fordel af ligheden mellem objekter for at fremskynde læringsprocessen ved at overføre viden om en opgave til en anden lignende. "

Den udviklingsramme, Petit og hans kolleger præsenterer, har til formål at muliggøre livslang og åben læring af nye færdigheder i robotter gennem en proces, der ligner den, der observeres hos mennesker. For at opnå dette, deres rammer inkluderer en langtidshukommelse, hvor robotter gemmer deres oplevelser, samt begrundelsesmuligheder, der giver dem mulighed for at identificere nyttige elementer i deres lagrede data.

"Den bayesianske optimeringsmetode fungerer som en smart" trial and error "-strategi:Robotten vurderer, hvilket sæt parametre det er bedst at evaluere baseret på resultaterne af den tidligere evaluering, "Petit forklaret." Kort sagt, denne metode guider robotten effektivt i at udforske parametre omkring værdier, der ikke blev prøvet, men også mod værdier, der har et stort potentiale. "

På trods af effektiviteten af ​​denne teknik, forskerne ønskede at øge konvergensen af ​​robotens læring for at opnå bedre optimering. Traditionelle bayesianske optimeringsmetoder var derfor ikke ønskelige, som med disse, robotens læring starter forfra for hvert nyt objekt, den støder på. For at løse denne begrænsning, forskerne anvendte en strategi baseret på synlig lighed.

"Vi ville udnytte den tidligere erfaring med robotten til forskellige, men lignende opgaver, "Sagde Petit." Således når den konfronteres med et nyt objekt, vi tvinger robotten til i første omgang at undersøge løsninger, der var optimeret til lignende objekter. For eksempel, hvis robotten ved, hvordan man griber en appelsin og nu skal have fat i et æble, vi tvinger robotten til at gribe æblet ved hjælp af strategien 'gribe appelsin'. Vi gør det ved at spørge det visuelle lighedsmodul, hvilke objekter der ligner de nye, og udtrække de bedste løsninger til disse lignende objekter fra langtidshukommelsen. "

Forskerne evaluerede deres rammer inden for et simuleringsmiljø. De fandt overførselslæringsstrategien baseret på visuel lighed langt mere fordelagtig end amnesisk læring, hvor robotter lærer strategier fra bunden, hver gang de udfører en ny opgave.

Indtil nu, udviklingsrammer er primært blevet undersøgt inden for rammerne af social robotik, for eksempel, hjælper med at tilpasse hjælpen fra sociale robotter til deres brugeres behov eller præferencer.

"Brug af denne ramme i et industrielt robotik -setup førte til overbevisende resultater, indebærer, at områderne social og industriel robotik har meget at lære af hinanden, "Petit sagde." Et andet interessant aspekt af vores undersøgelse er, at rammen optimerer en "black-box" algoritme, hvilket betyder, at vi ikke ved noget om, hvordan det fungerer. Vi giver parametre til det, og i bytte, vi modtager en score for deres kvalitet. Det betyder, at det også kan anvendes på forskellige apps og algoritmer (selv uden for robotikfeltet), der har brug for hyppig finjustering. "

Forskerne undersøger nu måder, hvorpå robotter kan overføre viden om objekter erhvervet under simuleringer til reelle opgaver, der involverer de samme objekter. Dette vil yderligere forbedre en robots effektivitet, giver den mulighed for at lære nye ting virtuelt og derefter anvende dem i det virkelige liv.

"Optimeringen af ​​parametre til objekter, der deler fysiske egenskaber, kan også føre til fremkomsten af ​​et sådant koncept for specifikke robotter, "Petit tilføjet." F.eks. en robot kunne lære, at en 'flad, ' 'tung, '' lang, 'osv. objekt skal have fat i specifikke værdier for et delsæt af parametre. Dette kan bruges til at forbedre menneske-robot-interaktioner og læring ved hjælp af naturligt sprog, for eksempel, med arbejdere, der hjælper robotten ved at give en lille beskrivelse af de nye objekter, der skal håndteres. "

© 2018 Tech Xplore