En algoritme til at lære robotter at forstå manipulationsstrategier på forhånd

Når mennesker rækker ud for at gribe en given genstand, de skal ofte skubbe rod af vejen for at isolere det og sikre, at der er plads nok til at samle det op. Selvom mennesker ikke altid er helt klar over, at de gør det, denne strategi, kendt som "forhåndsgribende manipulation, " giver dem mulighed for at gribe objekter mere effektivt.

I de seneste år, flere forskere har forsøgt at reproducere menneskelige manipulationsstrategier i robotter, endnu færre undersøgelser har fokuseret på præ-gribende manipulation. Med det i tankerne, et team af forskere ved Karlsruhe Institute of Technology (KIT) har for nylig udviklet en algoritme, der kan bruges til at træne robotter i både at gribe og forud gribe manipulationsstrategier. Denne nye tilgang blev præsenteret i et papir, der var forududgivet på arXiv.

"Selvom det at gribe er en velforstået opgave inden for robotteknologi, målrettet præ-gribende manipulation er stadig meget udfordrende, "Lars Berscheid, en af ​​de forskere, der har udført undersøgelsen, fortalte TechXplore. "Dette gør det meget svært for robotter at gribe objekter ud af rod eller trange rum i øjeblikket. Men, med de seneste innovationer inden for maskin- og robotlæring, robotter kan lære at løse forskellige opgaver ved at interagere med sine omgivelser. I dette studie, vi ønskede at anvende en tilgang, vi præsenterede i vores tidligere arbejde, ikke kun til at forstå, men også til forudgående manipulation."

Når en robot lærer at udføre en bestemt opgave, det skal i bund og grund finde ud af, hvordan man løser et problem ved at maksimere dets belønninger. I deres undersøgelse, forskerne fokuserede på en opgave, der involverede at gribe genstande ud af en tilfældigt fyldt skraldespand.

Robotten blev oplært i at gribe objekter i cirka 80 timer, ved hjælp af input fra et kamera og feedback fra dets griber. Da det lykkedes at holde en genstand i sin robotgriber, det opnåede en belønning. Algoritmen udviklet af Berscheid og hans kolleger tager robotens træning et skridt videre, gør det muligt for det også at blive nyttigt til forudgående håndtering af manipulationsstrategier, såsom at skifte eller skubbe.

"Nøgleideen med vores arbejde var at udvide gribehandlingerne ved at indføre yderligere skiftende eller skubbebevægelser, " Berscheid forklarede. "Roboten kan derefter beslutte, hvilken handling der skal anvendes i forskellige situationer. Træning af robotter i virkeligheden er meget vanskelig:For det første det tager lang tid, så selve træningen skal være automatiseret og selvovervåget, og for det andet kan der ske en masse uventede ting, hvis robotten udforsker sit miljø. I lighed med andre teknikker inden for maskinlæring, robotlæring er altid begrænset af dets dataforbrug. Med andre ord, vores arbejde er forbundet med to meget udfordrende forskningsspørgsmål:Hvordan kan en robot lære så hurtigt som muligt - og hvilke opgaver kan en robot lære ved hjælp af den opdagede indsigt? "

Som Berscheid fortsætter med at forklare, en robot kan lære mere effektivt, hvis den modtager direkte feedback efter hver handling, den udfører, da dette overvinder spørgsmålet om sparsomme belønninger. Med andre ord, jo mere feedback der gives til en robot (dvs. jo flere belønninger den modtager for vellykkede handlinger), jo hurtigere og mere effektivt lærer den at udføre en given opgave.

"Det her lyder nemt, men er undertiden vanskelig at implementere:F.eks. hvordan definerer du kvaliteten af ​​en præ-gribende manipulation?" sagde Berscheid.

Den tilgang, som forskerne har foreslået, er baseret på en tidligere undersøgelse, der undersøgte brugen af ​​forskelle i at forstå sandsynligheder før og efter en bestemt handling, med fokus på et lille område, hvor handlingen udføres. I deres nye undersøgelse, Berscheid og hans kolleger forsøgte også at afdække handlinger, som en robot skulle forsøge at lære så hurtigt som muligt.

"Dette er det velkendte problem med udforskning i robotindlæring, Berscheid forklarede. "Vi definerer en udforskningsstrategi, der enten maksimerer selvinformationen eller minimerer usikkerheden ved handlinger og kan beregnes meget effektivt."

Algoritmen præsenteret af forskerne gør det muligt for en robot at lære den optimale stilling til præ-gribende handlinger som f.eks. at klemme eller skifte, samt hvordan man udfører disse handlinger for at øge sandsynligheden for vellykket greb. Deres tilgang gør en bestemt handling (dvs. at skifte) afhængig af den anden (dvs. at gribe), hvilket i sidste ende fjerner behovet for sparsomme belønninger og muliggør mere effektiv læring.

Forskerne anvendte deres algoritme på en Franka robotarm og evaluerede derefter dens ydeevne på en opgave, der involverer at samle objekter op fra en skraldespand, indtil den er helt tom. De trænede systemet ved hjælp af 25, 000 forskellige greb og 2, 500 skifthandlinger. Deres resultater var meget lovende, med robotarmen, der med succes greb og arkiverede både objekter, den var bekendt med, og andre, som den aldrig havde mødt før.

"Jeg synes, at to resultater af vores arbejde er særligt spændende, "Sagde Berscheid." Først, vi mener, at dette arbejde virkelig viser evnen til robotlæring. I stedet for at programmere, hvordan man gør noget, vi fortæller robotten, hvad de skal gøre - og den skal selv finde ud af, hvordan den skal gøres. I denne henseende vi var i stand til at anvende og generalisere de metoder, som vi har udviklet til at gribe mod manipulation før greb. For det andet og af mere praktisk relevans, dette kan være meget nyttigt i automatiseringen af ​​mange industrielle opgaver, især til skraldespandplukning, hvor robotten skal kunne tømme skraldespanden helt alene. "

I fremtiden, tilgangen udviklet af Berscheid og hans kolleger kunne anvendes på andre robotplatforme, forbedre deres forudgående greb og gribe manipulationsevner. Forskerne planlægger nu at udføre yderligere undersøgelser, der undersøger andre forskningsspørgsmål.

For eksempel, indtil videre tillader deres tilgang kun Franks robotarm at gribe objekter med en oprejst hånd, ved at bruge det, der omtales som 'plane greb'. Forskerne vil gerne udvide deres algoritme til også at muliggøre laterale greb, ved at indføre flere parametre og bruge yderligere træningsdata. Ifølge Berscheid, den største udfordring, når man forsøger at opnå dette, vil være at sikre, at robotten får laterale greb, samtidig med at antallet af grebsforsøg, den udfører, holdes konstant i træningsfasen.

"Ud over, at gribe genstande er ofte en del af en opgave på højt niveau, f.eks. vi ønsker at placere objektet på en bestemt position, " sagde Berscheid. "Hvordan kan vi placere et ukendt objekt præcist? Jeg tror, ​​at svaret på dette spørgsmål er meget vigtigt for at tackle både industrielle og nye applikationer inden for servicerobotik. I vores projekt ønsker vi at holde fokus på robotlæring i den virkelige verden, bygge bro mellem legetøjseksempler i forskning og komplekse applikationer fra den virkelige verden."

© 2019 Science X Network