Aktivitetssimulator kunne lære robotter opgaver som at lave kaffe eller dække bordet

For mange mennesker, huslige pligter er frygtede, uundgåelig del af livet, som vi ofte udsætter eller gør med lidt omhu - men hvad hvis en robotpige kunne hjælpe med at lette belastningen?

For nylig, computerforskere har arbejdet med at undervise maskiner til at udføre en bredere vifte af opgaver rundt omkring i huset. I et nyt papir i spidsen for MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL) og University of Toronto, forskere demonstrerer "VirtualHome, "et system, der kan simulere detaljerede husstandsopgaver og derefter få kunstige" agenter "til at udføre dem, åbner muligheden for en dag at lære robotter at udføre sådanne opgaver.

Teamet trænede systemet ved hjælp af næsten 3, 000 programmer med forskellige aktiviteter, som yderligere opdeles i delopgaver, som computeren kan forstå. En simpel opgave som at "lave kaffe, " for eksempel, ville også omfatte trinnet "at tage en kop." Forskerne demonstrerede VirtualHome i en 3-D verden inspireret af Sims videospil.

Teamets AI -agent kan udføre 1, 000 af disse interaktioner i Sims-stil verden, med otte forskellige scener, herunder en stue, køkken, spisestue, soveværelse, og hjemmekontor.

"At beskrive handlinger som computerprogrammer har fordelen ved at give klare og entydige beskrivelser af alle de trin, der er nødvendige for at fuldføre en opgave, "siger ph.d. -studerende Xavier Puig, der var hovedforfatter på papiret. "Disse programmer kan instruere en robot eller en virtuel karakter, og kan også bruges som repræsentation for komplekse opgaver med enklere handlinger. "

Projektet blev co-udviklet af CSAIL og University of Toronto sammen med forskere fra McGill University og University of Ljubljana. Det vil blive præsenteret på Computer Vision and Pattern Recognition (CVPR) konference, som finder sted i denne måned i Salt Lake City.

Hvordan det virker

I modsætning til mennesker, robotter har brug for mere eksplicitte instruktioner for at udføre lette opgaver - de kan ikke bare udlede og begrunde med lethed.

For eksempel, man kan sige til et menneske at "tænde for fjernsynet og se det fra sofaen." Her, handlinger som "tag fjernbetjeningen" og "sid/lig på sofaen" er blevet udeladt, da de er en del af den almindelige viden, som mennesker har.

For bedre at demonstrere denne slags opgaver for robotter, beskrivelserne af handlinger skulle være meget mere detaljerede. For at gøre det, teamet indsamlede først verbale beskrivelser af husholdningsaktiviteter, og oversatte dem derefter til simpel kode. Et program som dette kan indeholde trin som:gå til fjernsynet, tænde fjernsynet, gå til sofaen, sidde i sofaen, og se fjernsyn.

Når programmerne blev oprettet, holdet fodrede dem med VirtualHome 3-D-simulatoren for at blive til videoer. Derefter, en virtuel agent ville udføre de opgaver, der er defineret af programmerne, om det så fjernsyn, placere en gryde på komfuret, eller tænde og slukke en brødrister.

Slutresultatet er ikke bare et system til træning af robotter til at udføre gøremål, men også en stor database med husstandsopgaver beskrevet ved hjælp af naturligt sprog. Virksomheder som Amazon, der arbejder på at udvikle Alexa-lignende robotsystemer derhjemme, kan i sidste ende bruge data som denne til at træne deres modeller til at udføre mere komplekse opgaver.

Teamets model viste med succes, at deres agenter kunne lære at rekonstruere et program, og derfor udføre en opgave, givet enten en beskrivelse:"hæld mælk i glas", eller en videodemonstration af aktiviteten.

"Denne arbejdslinje kan lette ægte robot -personlige assistenter i fremtiden, "siger Qiao Wang, en forskningsassistent i kunst, medier, og teknik ved Arizona State University. "I stedet for hver opgave programmeret af producenten, robotten kan lære opgaver bare ved at lytte til eller se den specifikke person, den ledsager. Dette giver robotten mulighed for at udføre opgaver på en personlig måde, eller endda en dag påkalde en følelsesmæssig forbindelse som følge af denne personlige læringsproces. "

I fremtiden, teamet håber at træne robotterne ved hjælp af egentlige videoer i stedet for Sims-stil simuleringsvideoer, hvilket ville gøre det muligt for en robot at lære ved blot at se en YouTube -video. Teamet arbejder også på at implementere et belønningslæringssystem, hvor agenten får positiv feedback, når den udfører opgaver korrekt.

"Du kan forestille dig en indstilling, hvor robotter hjælper med gøremål derhjemme og til sidst kan forudse personlige ønsker og behov, eller forestående handling, "siger Puig." Dette kan især være nyttigt som hjælpemiddel til ældre, eller dem, der kan have begrænset mobilitet. "