Robotten kan opfange enhver genstand efter at have inspiceret den

Mennesker har længe været mestre i fingerfærdighed, en færdighed, der i høj grad kan tilskrives vores øjnes hjælp. Robotter, i mellemtiden, er stadig ved at indhente. Der er bestemt sket fremskridt:I årtier har robotter i kontrollerede miljøer som samlebånd været i stand til at samle det samme objekt op igen og igen.

For nylig, gennembrud inden for computervision har gjort det muligt for robotter at foretage grundlæggende skel mellem objekter, men selv da, de forstår ikke rigtigt objekters former, så der er lidt de kan gøre efter en hurtig afhentning.

I et nyt blad, forskere fra MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL), sige, at de har lavet en nøgleudvikling inden for dette arbejdsområde:et system, der lader robotter inspicere tilfældige objekter, og visuelt forstå dem nok til at udføre specifikke opgaver uden nogensinde at have set dem før.

Systemet, kaldet "Dense Object Nets" (DON), ser på objekter som samlinger af punkter, der fungerer som "visuelle køreplaner" af slagsen. Denne tilgang lader robotter bedre forstå og manipulere genstande, og, mest vigtigt, giver dem mulighed for endda at samle en bestemt genstand op blandt et virvar af lignende objekter - en værdifuld færdighed for den slags maskiner, som virksomheder som Amazon og Walmart bruger i deres varehuse.

For eksempel, nogen kan bruge DON til at få en robot til at gribe fat i et bestemt sted på en genstand – for eksempel pløsen på en sko. Fra det, den kan se på en sko, den aldrig har set før, og med held gribe dens tunge.

"Mange tilgange til manipulation kan ikke identificere specifikke dele af et objekt på tværs af de mange orienteringer, som objektet kan støde på, " siger ph.d.-studerende Lucas Manuelli, der skrev et nyt papir om systemet med hovedforfatter og ph.d.-stipendiat. studerende Pete Florence, sammen med MIT-professor Russ Tedrake. "For eksempel, eksisterende algoritmer ville være ude af stand til at gribe et krus ved dets håndtag, især hvis kruset kunne være i flere retninger, som oprejst, eller på siden."

Teamet ser potentielle applikationer ikke kun i produktionsindstillinger, men også i hjemmet. Forestil dig at give systemet et billede af et ryddeligt hus, og lade det gøre rent, mens du er på arbejde, eller ved at bruge et billede af retter, så systemet lægger dine tallerkener væk, mens du er på ferie.

Hvad der også er bemærkelsesværdigt er, at ingen af ​​dataene faktisk blev mærket af mennesker; hellere, systemet er "selvstyret, "så det kræver ikke nogen menneskelige annoteringer.

Gør det let at forstå

To almindelige tilgange til robotgreb involverer enten opgavespecifik læring, eller skabe en generel gribealgoritme. Disse teknikker har begge forhindringer:opgavespecifikke metoder er svære at generalisere til andre opgaver, og generel forståelse bliver ikke specifik nok til at håndtere nuancerne i bestemte opgaver, som at placere genstande på bestemte steder.

DON-systemet, imidlertid, skaber i det væsentlige en række koordinater på et givet objekt, som fungerer som en slags "visuel køreplan" over objekterne, at give robotten en bedre forståelse af, hvad den skal forstå, og hvor.

Holdet trænede systemet til at se på objekter som en række punkter, der udgør et større koordinatsystem. Det kan derefter kortlægge forskellige punkter sammen for at visualisere et objekts 3D-form, svarende til, hvordan panoramabilleder er sat sammen fra flere billeder. Efter træning, hvis en person angiver et punkt på et objekt, robotten kan tage et billede af det objekt, og identificere og matche punkter for derefter at kunne samle objektet op på det angivne punkt.

Dette er forskelligt fra systemer som UC-Berkeleys DexNet, som kan fatte mange forskellige ting, men kan ikke imødekomme en specifik anmodning. Forestil dig et spædbarn på 18 måneder, der ikke forstår hvilket legetøj du vil have det til at lege med, men som stadig kan få fat i mange ting, versus en fire-årig, der kan svare på "tag fat i din lastbil ved den røde ende af den."

I et sæt test udført på et blødt larvelegetøj, en Kuka robotarm drevet af DON kunne gribe legetøjets højre øre fra en række forskellige konfigurationer. Dette viste, at blandt andet, systemet har evnen til at skelne venstre fra højre på symmetriske objekter.

Når du tester på en beholder med forskellige baseballhatte, DON kunne vælge en specifik målhat på trods af, at alle hattene havde meget ens design - og aldrig før havde set billeder af hattene i træningsdata.

"På fabrikker har robotter ofte brug for komplekse delefødere for at fungere pålideligt, " siger Manuelli. "Men et system som dette, der kan forstå objekters orienteringer, kunne bare tage et billede og være i stand til at forstå og justere objektet i overensstemmelse hermed."

I fremtiden, teamet håber at forbedre systemet til et sted, hvor det kan udføre specifikke opgaver med en dybere forståelse af de tilsvarende objekter, som at lære at gribe en genstand og flytte den med det ultimative mål at sige, rengøring af et skrivebord.

Holdet vil præsentere deres papir om systemet i næste måned på konferencen om robotlæring i Zürich, Schweiz.