Nøjeregnende robotter lærer det grundlæggende ved objektmanipulation

MIT -forskere har samlet et datasæt, der fanger den detaljerede adfærd for et robotsystem, der fysisk skubber hundredvis af forskellige objekter. Ved hjælp af datasættet-det største og mest forskelligartede af slagsen-kan forskere træne robotter til at "lære" push-dynamik, der er grundlæggende for mange komplekse objekt-manipulationsopgaver, herunder omorientering og inspektion af objekter, og ryddelige scener.

For at fange dataene, forskerne designede et automatiseret system bestående af en industriel robotarm med præcis kontrol, et 3-D bevægelsessporingssystem, dybde og traditionelle kameraer, og software, der syr alt sammen. Armen skubber rundt på modulære objekter, der kan justeres efter vægt, form, og massefordeling. For hvert skub, systemet fanger, hvordan disse egenskaber påvirker robotens skub.

Datasættet, kaldet "Omnipush, "indeholder 250 forskellige tryk på 250 objekter, i alt cirka 62, 500 unikke skub. Det bruges allerede af forskere til, for eksempel, bygge modeller, der hjælper robotter med at forudsige, hvor objekter vil lande, når de skubbes.

"Vi har brug for mange rige data for at sikre, at vores robotter kan lære, "siger Maria Bauza, en kandidatstuderende ved Institut for Maskinteknik (MechE) og første forfatter til et papir, der beskriver Omnipush, der bliver præsenteret på den kommende internationale konference om intelligente robotter og systemer. "Her, vi indsamler data fra et rigtigt robotsystem, [og] objekterne er varierede nok til at fange rigdom af de skubbende fænomener. Dette er vigtigt for at hjælpe robotter med at forstå, hvordan pushing fungerer, og at oversætte disse oplysninger til andre lignende objekter i den virkelige verden. "

Sammen med Bauza på papiret er:Ferran Alet og Yen-Chen Lin, kandidatstuderende i datalogi og kunstig intelligenslaboratorium og Institut for Elektroteknik og Datalogi (EECS); Tomas Lozano-Perez, ingeniørhøjskolen Professor i undervisningskvalitet; Leslie P. Kaelbling, Panasonic -professor i datalogi og teknik; Phillip Isola, en adjunkt i EECS; og Alberto Rodriguez, en lektor i MechE.

Diversificering af data

Hvorfor fokusere på at skubbe adfærd? Modellering af dynamiske dynamikker, der involverer friktion mellem objekter og overflader, Rodriguez forklarer, er kritisk i robotopgaver på højere niveau. Overvej den visuelt og teknisk imponerende robot, der kan spille Jenga, som Rodriguez for nylig co-designet. "Robotten udfører en kompleks opgave, men kernen i mekanikken, der driver den opgave, er stadig at skubbe et objekt påvirket af, for eksempel, friktionen mellem blokke, "Siger Rodriguez.

Omnipush bygger på et lignende datasæt bygget i Manipulation and Mechanisms Laboratory (MCube) af Rodriguez, Bauza, og andre forskere, der fangede push -data på kun 10 objekter. Efter at have gjort datasættet offentligt i 2016, de indsamlede feedback fra forskere. En klage var mangel på objektdiversitet:Robotter uddannet i datasættet kæmpede for at generalisere information til nye objekter. Der var heller ingen video, hvilket er vigtigt for computersyn, video forudsigelse, og andre opgaver.

For deres nye datasæt, forskerne udnytter en industriel robotarm med præcisionskontrol af en skubbers hastighed og position, dybest set en lodret stålstang. Når armen skubber objekterne, et "Vicon" bevægelsessporingssystem-som er blevet brugt i film, Virtual reality, og til forskning - følger objekterne. Der er også et RGB-D kamera, som tilføjer dybdeinformation til optaget video.

Nøglen var at bygge modulære objekter. De ensartede centrale stykker, lavet af aluminium, ligner firkantede stjerner og vejer cirka 100 gram. Hvert centralt stykke indeholder markører på midten og punkter, så Vicon -systemet kan registrere sin positur inden for en millimeter.

Mindre stykker i fire former - konkave, trekantet, rektangulær, og cirkulær - kan magnetisk fastgøres til enhver side af det centrale stykke. Hvert stykke vejer mellem 31 og 94 gram, men ekstra vægte, fra 60 til 150 gram, kan tabes i små huller i stykkerne. Alle brikker af de puslespillignende objekter justeres både vandret og lodret, hvilket hjælper med at efterligne den friktion, et enkelt objekt med samme form og massefordeling ville have. Alle kombinationer af forskellige sider, vægte, og massefordelinger tilføjede op til 250 unikke objekter.

For hvert skub, armen bevæger sig automatisk til en tilfældig position flere centimeter fra objektet. Derefter, den vælger en tilfældig retning og skubber objektet i et sekund. Fra hvor det stoppede, den vælger derefter en anden tilfældig retning og gentager processen 250 gange. Hvert tryk registrerer objektets positur og RGB-D-video, som kan bruges til forskellige video-forudsigelsesformål. Indsamlingen af ​​data tog 12 timer om dagen, i to uger, i alt mere end 150 timer. Menneskelig indgriben var kun nødvendig ved manuel omkonfiguration af objekterne.

Objekterne efterligner ikke specifikt genstande fra det virkelige liv. I stedet, de er designet til at fange mangfoldigheden af ​​"kinematik" og "masseassymetri", der forventes af virkelige objekter, som modellerer fysikken i bevægelse af virkelige objekter. Robotter kan derefter ekstrapolere, sige, fysikmodellen for et Omnipush-objekt med ujævn massefordeling til ethvert objekt i den virkelige verden med lignende ujævne vægtfordelinger.

"Forestil dig at skubbe et bord med fire ben, hvor mest vægt er over et af benene. Når du skubber på bordet, du ser, at den roterer på det tunge ben og skal justeres igen. Forståelse for, at massefordeling, og dens virkning på resultatet af et skub, er noget robotter kan lære med dette sæt objekter, "Siger Rodriguez.

Styrer ny forskning

I et forsøg, forskerne brugte Omnipush til at træne en model til at forudsige den endelige stilling af skubbede objekter, givet kun den indledende positur og beskrivelse af skubbet. De trænede modellen på 150 Omnipush -objekter, og testede det på en udholdt del af objekter. Resultaterne viste, at den Omnipush-uddannede model var dobbelt så præcis som modeller, der var uddannet på et par lignende datasæt. I deres papir, forskerne registrerede også benchmarks i nøjagtighed, som andre forskere kan bruge til sammenligning.

Fordi Omnipush optager video af skubberne, en potentiel applikation er videoforudsigelse. En samarbejdspartner, for eksempel, bruger nu datasættet til at træne en robot til i det væsentlige at "forestille sig" at skubbe objekter mellem to punkter. Efter træning på Omnipush, robotten er givet som input to videorammer, viser et objekt i sin startposition og slutposition. Brug af startpositionen, robotten forudsiger alle fremtidige videorammer, der sikrer, at objektet når sin slutposition. Derefter, det skubber objektet på en måde, der matcher hver forudsagt videoramme, indtil den kommer til rammen med slutpositionen.

"Robotten spørger, "Hvis jeg gør denne handling, hvor vil objektet være i denne ramme? "Så, den vælger den handling, der maksimerer sandsynligheden for at få objektet i den position, det ønsker, "Bauza siger." Det bestemmer, hvordan man flytter objekter ved først at forestille sig, hvordan pixel i billedet ændres efter et tryk. "

"Omnipush indeholder præcise målinger af objektbevægelse, samt visuelle data, for en vigtig klasse af interaktioner mellem robot og objekter i verden, "siger Matthew T. Mason, professor i datalogi og robotik ved Carnegie Melon University. "Robotikforskere kan bruge disse data til at udvikle og teste nye metoder til robotindlæring ...

Denne historie er genudgivet med tilladelse fra MIT News (web.mit.edu/newsoffice/), et populært websted, der dækker nyheder om MIT -forskning, innovation og undervisning.