Giver robotter en bedre fornemmelse for objektmanipulation

Et nyt læringssystem udviklet af MIT-forskere forbedrer robotternes evner til at støbe materialer til målformer og lave forudsigelser om interaktion med faste genstande og væsker. Systemet, kendt som en læringsbaseret partikelsimulator, kunne give industrirobotter et mere raffineret præg - og det kan have sjove applikationer i personlig robotteknologi, såsom modellering af lerformer eller rullende klistret ris til sushi.

I robotplanlægning, fysiske simulatorer er modeller, der fanger, hvordan forskellige materialer reagerer på kraft. Robotter "trænes" ved hjælp af modellerne, at forudsige resultaterne af deres interaktioner med objekter, såsom at skubbe en solid kasse eller stikke deformerbart ler. Men traditionelle læringsbaserede simulatorer fokuserer hovedsageligt på stive genstande og er ude af stand til at håndtere væsker eller blødere genstande. Nogle mere nøjagtige fysikbaserede simulatorer kan håndtere forskellige materialer, men stoler i høj grad på tilnærmelsesteknikker, der introducerer fejl, når robotter interagerer med objekter i den virkelige verden.

I et papir, der præsenteres på den internationale konference om læringsrepræsentationer i maj, forskerne beskriver en ny model, der lærer at fange, hvordan små portioner af forskellige materialer - "partikler" - interagerer, når de bliver stukket og stukket. Modellen lærer direkte af data i tilfælde, hvor bevægelsernes underliggende fysik er usikker eller ukendt. Robotter kan derefter bruge modellen som en guide til at forudsige, hvordan væsker, samt stive og deformerbare materialer, vil reagere på kraften af ​​dens berøring. Mens robotten håndterer objekterne, modellen er også med til at forfine robottens kontrol yderligere.

I eksperimenter, en robothånd med to fingre, kaldet "RiceGrip, " præcist formet et deformerbart skum til en ønsket konfiguration - såsom en "T"-form - der tjener som en proxy for sushi-ris. Kort sagt, forskernes model fungerer som en type "intuitiv fysik"-hjerne, som robotter kan udnytte til at rekonstruere tredimensionelle objekter lidt på samme måde som mennesker gør.

"Mennesker har en intuitiv fysikmodel i vores hoveder, hvor vi kan forestille os, hvordan en genstand vil opføre sig, hvis vi skubber eller klemmer den. Baseret på denne intuitive model, mennesker kan udføre fantastiske manipulationsopgaver, der er langt uden for nuværende robotters rækkevidde, " siger første forfatter Yunzhu Li, en kandidatstuderende i Computer Science and Artificial Intelligence Laboratory (CSAIL). "Vi ønsker at bygge denne type intuitiv model for robotter for at sætte dem i stand til at gøre, hvad mennesker kan gøre."

"Når børn er 5 måneder gamle, de har allerede forskellige forventninger til faste stoffer og væsker, " tilføjer medforfatter Jiajun Wu, en CSAIL kandidatstuderende. "Det er noget, vi ved i en tidlig alder, så måske er det noget, vi skal prøve at modellere til robotter."

Sammen med Li og Wu på avisen er:Russ Tedrake, en CSAIL-forsker og en professor ved Institut for Elektroteknik og Datalogi (EECS); Joshua Tenenbaum, en professor ved Institut for Hjerne- og Kognitionsvidenskab; og Antonio Torralba, en professor i EECS og direktør for MIT-IBM Watson AI Lab.

Dynamiske grafer

En nøgleinnovation bag modellen, kaldet "partikelinteraktionsnetværket" (DPI-nets), lavede dynamiske interaktionsgrafer, som består af tusindvis af noder og kanter, der kan fange kompleks adfærd af såkaldte partikler. I graferne, hver knude repræsenterer en partikel. Tilstødende knudepunkter er forbundet med hinanden ved hjælp af rettede kanter, som repræsenterer interaktionen, der går fra den ene partikel til den anden. I simulatoren, partikler er hundredvis af små kugler kombineret for at udgøre en væske eller en deformerbar genstand.

Graferne er konstrueret som grundlag for et maskinlæringssystem kaldet et grafneuralt netværk. I træning, modellen lærer over tid, hvordan partikler i forskellige materialer reagerer og omformer. Det gør den ved implicit at beregne forskellige egenskaber for hver partikel - såsom dens masse og elasticitet - for at forudsige, om og hvor partiklen vil bevæge sig i grafen, når den bliver forstyrret.

Modellen udnytter derefter en "udbredelsesteknik", som øjeblikkeligt spreder et signal i hele grafen. Forskerne tilpassede teknikken til hver type materiale - stift, deformerbar, og væske - for at skyde et signal, der forudsiger partiklernes positioner ved bestemte trinvise tidstrin. Ved hvert trin, det flytter og forbinder partikler igen, hvis det er nødvendigt.

For eksempel, hvis en solid kasse skubbes, forstyrrede partikler vil blive flyttet fremad. Fordi alle partikler inde i kassen er stift forbundet med hinanden, hver anden partikel i objektet bevæger sig den samme beregnede afstand, rotation, og enhver anden dimension. Partikelforbindelser forbliver intakte, og kassen bevæger sig som en enkelt enhed. Men hvis et område med deformerbart skum er fordybet, effekten vil være anderledes. Forstyrrede partikler bevæger sig meget fremad, omgivende partikler bevæger sig kun lidt fremad, og partikler længere væk vil slet ikke bevæge sig. Med væsker, der skvulpes rundt i en kop, partikler kan springe fuldstændigt fra den ene ende af grafen til den anden. Grafen skal lære at forudsige, hvor og hvor meget alle berørte partikler bevæger sig, hvilket er beregningsmæssigt komplekst.

At forme og tilpasse

I deres papir, forskerne demonstrerer modellen ved at give den tofingrede RiceGrip-robot til opgave at fastspænde målformer ud af deformerbart skum. Robotten bruger først et dybdefølende kamera og objektgenkendelsesteknikker til at identificere skummet. Forskerne udvælger tilfældigt partikler inde i den opfattede form for at initialisere partiklernes position. Derefter, modellen tilføjer kanter mellem partikler og rekonstruerer skummet til en dynamisk graf tilpasset til deformerbare materialer.

På grund af de lærte simuleringer, robotten har allerede en god idé om, hvordan hver berøring, givet en vis mængde kraft, vil påvirke hver af partiklerne i grafen. Da robotten begynder at indrykke skummet, det matcher iterativt partiklernes virkelige position med partiklernes målrettede position. Når partiklerne ikke justeres, det sender et fejlsignal til modellen. Det signal justerer modellen, så den bedre matcher materialets fysiske fysik i den virkelige verden.

Næste, forskerne sigter mod at forbedre modellen for at hjælpe robotter med bedre at forudsige interaktioner med delvist observerbare scenarier, såsom at vide, hvordan en bunke kasser vil bevæge sig, når den skubbes, selvom kun kasserne ved overfladen er synlige og de fleste andre kasser er skjulte.

Forskerne undersøger også måder at kombinere modellen med et end-to-end perceptionsmodul ved at operere direkte på billeder. Dette bliver et fælles projekt med Dan Yamins gruppe; Yamin afsluttede for nylig sin postdoc ved MIT og er nu adjunkt ved Stanford University. "Du beskæftiger dig med disse sager hele tiden, hvor der kun er delvise oplysninger, " siger Wu. "Vi udvider vores model for at lære dynamikken i alle partikler, mens man kun ser en lille del."

Denne historie er genudgivet med tilladelse fra MIT News (web.mit.edu/newsoffice/), et populært websted, der dækker nyheder om MIT-forskning, innovation og undervisning.