Undervisning i kunstig intelligens til at forbinde sanser som syn og berøring

I den canadiske forfatter Margaret Atwoods bog Den blinde snigmorder , hun siger, at "berøring kommer før synet, før talen. Det er det første sprog og det sidste, og den fortæller altid sandheden."

Mens vores følesans giver os en kanal til at føle den fysiske verden, vores øjne hjælper os med det samme at forstå det fulde billede af disse taktile signaler.

Robotter, der er blevet programmeret til at se eller føle, kan ikke bruge disse signaler lige så i flæng. For bedre at bygge bro over dette sansegab, forskere fra MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL) er kommet frem til en forudsigelig kunstig intelligens (AI), der kan lære at se ved at røre ved, og lær at føle ved at se.

Holdets system kan skabe realistiske taktile signaler fra visuelle input, og forudsige, hvilket objekt og hvilken del der berøres direkte fra disse taktile input. De brugte en KUKA robotarm med en speciel taktil sensor kaldet GelSight, designet af en anden gruppe på MIT.

Ved hjælp af et simpelt webkamera, holdet registrerede næsten 200 genstande, såsom værktøj, husholdningsprodukter, stoffer, og mere, bliver berørt mere end 12, 000 gange. At bryde de 12, 000 videoklip ned i statiske rammer, holdet kompilerede "VisGel, " et datasæt med mere end 3 millioner visuelle/taktil-parrede billeder.

"Ved at se på scenen, vores model kan forestille sig følelsen af ​​at røre ved en flad overflade eller en skarp kant, " siger Yunzhu Li, CSAIL Ph.D. studerende og hovedforfatter på et nyt papir om systemet. "Ved blindt at røre rundt, vores model kan forudsige interaktionen med omgivelserne udelukkende ud fra taktile følelser. At bringe disse to sanser sammen kan styrke robotten og reducere de data, vi muligvis har brug for til opgaver, der involverer manipulation og fat i objekter."

Nyligt arbejde med at udstyre robotter med mere menneskelignende fysiske sanser, såsom MIT's 2016-projekt, der bruger dyb læring til visuelt at indikere lyde, eller en model, der forudsiger objekters reaktion på fysiske kræfter, begge bruger store datasæt, der ikke er tilgængelige til at forstå interaktioner mellem syn og berøring.

Holdets teknik omgår dette ved at bruge VisGel-datasættet, og noget, der kaldes generative adversarial networks (GAN'er).

GAN'er bruger visuelle eller taktile billeder til at generere billeder i den anden modalitet. De arbejder ved at bruge en "generator" og en "diskriminator", der konkurrerer med hinanden, hvor generatoren har til formål at skabe virkeligt udseende billeder for at narre diskriminatoren. Hver gang diskriminatoren "fanger" generatoren, den skal afsløre den interne begrundelse for beslutningen, hvilket gør det muligt for generatoren gentagne gange at forbedre sig selv.

Syn at røre ved

Mennesker kan udlede, hvordan et objekt føles, blot ved at se det. For bedre at give maskiner denne kraft, systemet skulle først lokalisere berøringspositionen, og derefter udlede information om formen og følelsen af ​​regionen.

Referencebillederne – uden nogen interaktion mellem robot og objekt – hjalp systemet med at kode detaljer om objekterne og miljøet. Derefter, når robotarmen var i drift, modellen kunne simpelthen sammenligne den aktuelle ramme med dens referencebillede, og nemt identificere placeringen og omfanget af berøringen.

Dette kan ligne at give systemet et billede af en computermus, og derefter "se" området, hvor modellen forudsiger, at objektet skal røres til afhentning - hvilket i høj grad kunne hjælpe maskiner med at planlægge sikrere og mere effektive handlinger.

Berør for at se

For berøring til syn, Målet var, at modellen skulle producere et visuelt billede baseret på taktile data. Modellen analyserede et taktilt billede, og fandt derefter ud af kontaktpositionens form og materiale. Den så derefter tilbage til referencebilledet for at "hallucinere" interaktionen.

For eksempel, hvis modellen under testen blev tilført taktile data på en sko, det kunne producere et billede af, hvor den sko med størst sandsynlighed ville blive rørt.

Denne type evner kan være nyttige til at udføre opgaver i tilfælde, hvor der ikke er visuelle data, som når et lys er slukket, eller hvis en person blindt rækker ind i en boks eller et ukendt område.

Ser frem til

Det aktuelle datasæt har kun eksempler på interaktioner i et kontrolleret miljø. Teamet håber at forbedre dette ved at indsamle data på mere ustrukturerede områder, eller ved at bruge en ny MIT-designet taktil handske, for bedre at øge datasættets størrelse og mangfoldighed.

Der er stadig detaljer, der kan være vanskelige at udlede fra at skifte tilstand, som at fortælle farven på en genstand ved blot at røre ved den, eller fortælle hvor blød en sofa er uden egentlig at trykke på den. Forskerne siger, at dette kunne forbedres ved at skabe mere robuste modeller for usikkerhed, at udvide fordelingen af ​​mulige resultater.

I fremtiden, denne type model kunne hjælpe med et mere harmonisk forhold mellem vision og robotteknologi, især til genkendelse af objekter, fatte, bedre sceneforståelse, og hjælper med problemfri menneske-robot-integration i en hjælpe- eller produktionsindstilling.

"Dette er den første metode, der overbevisende kan oversætte mellem visuelle signaler og berøringssignaler, " siger Andrew Owens, en postdoc ved University of California i Berkeley. "Metoder som denne har potentialet til at være meget nyttige til robotteknologi, hvor du skal besvare spørgsmål som "er denne genstand hård eller blød?", eller 'hvis jeg løfter dette krus i dets håndtag, hvor godt vil mit greb være?" Dette er et meget udfordrende problem, da signalerne er så forskellige, og denne model har vist stor kapacitet."

Denne historie er genudgivet med tilladelse fra MIT News (web.mit.edu/newsoffice/), et populært websted, der dækker nyheder om MIT-forskning, innovation og undervisning.