Algoritme giver robotter en instinktiv forståelse af, hvordan man bruger værktøjer

Forskere fra MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL) har udviklet en algoritme, der kan give robotter en intuitiv tilgang til brug af værktøjer. Denne metode, kaldet "TL;DR (Too Long; Didn't Read)," har til formål at løse de vanskeligheder, som robotter står over for, når de lærer interaktioner mellem objekt og værktøj fra demonstrationer eller sproginstruktioner.

En af de vigtigste udfordringer er, at robotter ofte skal lære at bruge værktøjer med forskellige orienteringer og størrelser. Derudover skal de forstå virkningerne af deres handlinger på de objekter, der manipuleres, hvilket kan variere betydeligt afhængigt af det værktøj, der bruges.

For at overvinde disse udfordringer bruger TL;DR en kombination af dyb forstærkende læring og naturlig sprogbehandling. Algoritmen begynder med at lære en generel forståelse af, hvordan værktøjer interagerer med objekter fra et sæt demonstrationer. Denne viden bruges derefter til at generere tekstbeskrivelser af de handlinger, der kræves til specifikke opgaver, såsom "hamre sømmet i træet" eller "løft koppen med gaflen."

Når tekstinstruktionerne er blevet genereret, bruger TL;DR en naturlig sprogbehandlingsmodel til at udtrække nøglehandlingerne og objekterne. Disse handlinger repræsenteres derefter ved hjælp af SMPL-formatet, en standardrepræsentation for bevægelsesdata.

Endelig bruger algoritmen dyb forstærkende læring til at finjustere robottens handlinger baseret på dens erfaringer fra den virkelige verden. Dette giver robotten mulighed for at tilpasse sig variationer i miljøet og lære at bruge værktøjer effektivt.

I eksperimenter påviste forskerne, at TL;DR markant overgår eksisterende tilgange til læring af robotværktøjsbrug, især når de beskæftiger sig med nye objekter og værktøjer. Algoritmen var også i stand til at lære at bruge komplekse værktøjer, såsom en pincet, til at manipulere små objekter.

Forskerne forudser, at TL;DR kan have vigtige konsekvenser for robotapplikationer inden for forskellige domæner, herunder fremstilling, sundhedspleje og autonom udforskning. Ved at gøre det muligt for robotter at lære at bruge værktøjer intuitivt, kan TL;DR udvide rækken af ​​opgaver, robotter kan udføre og reducere behovet for menneskelig indgriben.

Undersøgelsen var medforfatter af Anirudha Parasuraman, Jialin Se og Peter Fazli. Forskningen blev støttet af ONR, NSF, Samsung, Toyota Research Institute og MIT-IBM Watson AI Lab.