Algoritmen fortæller robotter, hvor nærliggende mennesker er på vej hen

I 2018, forskere ved MIT og bilproducenten BMW testede måder, hvorpå mennesker og robotter kunne arbejde tæt på at samle bildele. I en kopi af et fabriksgulv, holdet riggede en robot op på skinner, designet til at levere dele mellem arbejdsstationer. I mellemtiden, menneskelige arbejdere krydsede dens vej af og til for at arbejde på nærliggende stationer.

Robotten var programmeret til at stoppe et øjeblik, hvis en person gik forbi. Men forskerne bemærkede, at robotten ofte ville fryse på plads, alt for forsigtig, længe før en person havde krydset dens vej. Hvis dette fandt sted i en rigtig fremstillingssituation, sådanne unødvendige pauser kunne akkumulere til betydelige ineffektiviteter.

Holdet sporede problemet til en begrænsning i robottens banejusteringsalgoritmer, der blev brugt af robottens bevægelsesforudsigelsessoftware. Mens de med rimelighed kunne forudsige, hvor en person var på vej hen, på grund af den dårlige tidsjustering kunne algoritmerne ikke forudse, hvor lang tid denne person brugte på noget tidspunkt langs deres forudsagte vej - og i dette tilfælde, hvor lang tid det ville tage for en person at stoppe, dobbelt så tilbage og kryds robottens vej igen.

Nu, medlemmer af det samme MIT-team har fundet en løsning:en algoritme, der nøjagtigt justerer delvise baner i realtid, gør det muligt for bevægelsesforudsigere nøjagtigt at forudse timingen af ​​en persons bevægelse. Da de anvendte den nye algoritme til BMW fabriksgulvseksperimenter, de fandt det, i stedet for at fryse på plads, robotten rullede simpelthen videre og var sikkert af vejen, da personen gik forbi igen.

"Denne algoritme bygger i komponenter, der hjælper en robot med at forstå og overvåge stop og overlapninger i bevægelse, som er en kernedel af menneskelig bevægelse, " siger Julie Shah, lektor i luftfart og astronautik ved MIT. "Denne teknik er en af ​​de mange måder, vi arbejder på med robotter, der bedre forstår mennesker."

Shah og hendes kolleger, inklusive projektleder og kandidatstuderende Przemyslaw "Pem" Lasota, vil præsentere deres resultater i denne måned på Robotics:Science and Systems-konferencen i Tyskland.

For at sætte robotter i stand til at forudsige menneskelige bevægelser, forskere låner typisk algoritmer fra musik- og talebehandling. Disse algoritmer er designet til at justere to komplette tidsserier, eller sæt af relaterede data, såsom et lydspor fra en musikalsk optræden og en rullevideo af det stykkes musikalske notation.

Forskere har brugt lignende alignment-algoritmer til at synkronisere real-time og tidligere registrerede målinger af menneskelig bevægelse, at forudsige, hvor en person vil være, sige, fem sekunder fra nu. Men i modsætning til musik eller tale, menneskelig bevægelse kan være rodet og meget varierende. Selv for gentagne bevægelser, såsom at række ud over et bord for at skrue en bolt i, én person kan bevæge sig lidt forskelligt hver gang.

Eksisterende algoritmer tager typisk streaming af bevægelsesdata, i form af prikker, der repræsenterer en persons position over tid, og sammenligne banen for disse prikker med et bibliotek af almindelige baner for det givne scenarie. En algoritme kortlægger en bane i forhold til den relative afstand mellem prikker.

Men Lasota siger, at algoritmer, der forudsiger baner baseret på afstand alene, let kan blive forvirrede i visse almindelige situationer, såsom midlertidige stop, hvor en person holder pause, før han fortsætter på sin vej. Mens der er sat på pause, prikker, der repræsenterer personens position, kan samle sig på samme sted.

"Når man ser på dataene, du har en hel masse punkter samlet, når en person bliver stoppet, " siger Lasota. "Hvis du kun ser på afstanden mellem punkter som din justering-metrik, det kan være forvirrende, fordi de alle er tæt sammen, og du har ikke en god idé om, hvilket punkt du skal rette dig efter."

Det samme gælder med overlappende baner - tilfælde, hvor en person bevæger sig frem og tilbage ad en lignende vej. Lasota siger, at mens en persons nuværende position kan være på linje med en prik på en referencebane, eksisterende algoritmer kan ikke skelne mellem, om denne position er en del af en bane på vej væk, eller kommer tilbage ad samme vej.

"Du kan have punkter tæt på hinanden med hensyn til afstand, men tidsmæssigt, en persons position kan faktisk være langt fra et referencepunkt, " siger Lasota.

Det hele ligger i timingen

Som en løsning, Lasota og Shah udtænkte en "delvis bane"-algoritme, der justerer segmenter af en persons bane i realtid med et bibliotek af tidligere indsamlede referencebaner. Vigtigt, den nye algoritme justerer baner i både afstand og timing, og ved at gøre det, er i stand til præcist at forudse stop og overlapninger i en persons vej.

"Sig du har udført så meget af en bevægelse, " Lasota forklarer. "Gamle teknikker vil sige, "Dette er det nærmeste punkt på denne repræsentative bane for den bevægelse." Men da du kun fuldførte så meget af det på kort tid, timing-delen af ​​algoritmen vil sige, 'baseret på timingen, det er usandsynligt, at du allerede er på vej tilbage, fordi du lige har startet din bevægelse.""

Holdet testede algoritmen på to menneskelige bevægelsesdatasæt:et, hvor en person intermitterende krydsede en robots vej i en fabriksindstilling (disse data blev opnået fra holdets eksperimenter med BMW), og en anden, hvor gruppen tidligere har registreret håndbevægelser af deltagere, der rækker ud over et bord for at installere en bolt, som en robot derefter vil sikre ved at børste tætningsmiddel på bolten.

For begge datasæt, holdets algoritme var i stand til at lave bedre skøn over en persons fremskridt gennem en bane, sammenlignet med to almindeligt anvendte algoritmer for delvis banejustering. Desuden, holdet fandt ud af, at når de integrerede alignment-algoritmen med deres bevægelsesforudsigere, robotten kunne mere præcist forudse timingen af ​​en persons bevægelse. I fabriksgulvsscenariet, for eksempel, de fandt ud af, at robotten var mindre tilbøjelig til at fryse på plads, og genoptog i stedet uden problemer sin opgave kort efter, at en person krydsede dens vej.

Mens algoritmen blev evalueret i sammenhæng med bevægelsesforudsigelse, det kan også bruges som et forbehandlingstrin til andre teknikker inden for menneske-robot-interaktion, såsom handlingsgenkendelse og gestusgenkendelse. Shah siger, at algoritmen vil være et nøgleværktøj til at gøre det muligt for robotter at genkende og reagere på mønstre af menneskelige bevægelser og adfærd. Ultimativt, dette kan hjælpe mennesker og robotter med at arbejde sammen i strukturerede miljøer, såsom fabriksindstillinger og endda, i nogle tilfælde, hjemmet.

"Denne teknik kan anvendes til ethvert miljø, hvor mennesker udviser typiske adfærdsmønstre, " siger Shah. "Nøglen er, at [robotsystemet] kan observere mønstre, der opstår igen og igen, så den kan lære noget om menneskelig adfærd. Dette er alt sammen i retning af robottens arbejde bedre at forstå aspekter af menneskelig bevægelse, for at kunne samarbejde bedre med os."

Denne historie er genudgivet med tilladelse fra MIT News (web.mit.edu/newsoffice/), et populært websted, der dækker nyheder om MIT-forskning, innovation og undervisning.