At lære selvkørende biler at forudsige fodgængers bevægelse

Ved at nulstille menneskers gang, kropssymmetri og fodplacering, University of Michigan forskere lærer selvkørende biler at genkende og forudsige fodgængerbevægelser med større præcision end nuværende teknologier.

Data indsamlet af køretøjer gennem kameraer, LiDAR og GPS gør det muligt for forskerne at optage videosnutter af mennesker i bevægelse og derefter genskabe dem i 3D-computersimulering. Med det, de har skabt et "biomekanisk inspireret tilbagevendende neuralt netværk", der katalogiserer menneskelige bevægelser.

Med det, de kan forudsige stillinger og fremtidige placeringer for en eller flere fodgængere op til omkring 50 meter fra køretøjet. Det er på omtrent omfanget af et bykryds.

"Tidligere arbejde på dette område har typisk kun set på stillbilleder. Det var egentlig ikke bekymret for, hvordan folk bevæger sig i tre dimensioner, "sagde Ram Vasudevan, U-M adjunkt i maskinteknik. "Men hvis disse køretøjer kommer til at fungere og interagere i den virkelige verden, vi er nødt til at sikre, at vores forudsigelser om, hvor en fodgænger skal hen, ikke falder sammen med, hvor køretøjet skal videre. "

At udstyre køretøjer med den nødvendige forudsigelseskraft kræver, at netværket dykker ned i detaljerne i menneskelig bevægelse:tempoet i et menneskes gang (periodicitet), spejlsymmetri af lemmer, og den måde, hvorpå fodplacering påvirker stabiliteten under gang.

Meget af maskinlæringen, der bruges til at bringe autonom teknologi til sit nuværende niveau, har handlet om todimensionelle billeder - stillbilleder. En computer, der viser flere millioner fotos af et stopskilt, vil i sidste ende komme til at genkende stopskilte i den virkelige verden og i realtid.

Men ved at bruge videoklip, der kører i flere sekunder, U-M-systemet kan studere den første halvdel af udsnittet for at lave sine forudsigelser, og kontroller derefter nøjagtigheden med anden halvleg.

"Nu, vi træner systemet til at genkende bevægelse og forudsige ikke kun en enkelt ting - uanset om det er et stopskilt eller ej - men hvor fodgængerens krop vil være i det næste trin og det næste og det næste, "sagde Matthew Johnson-Roberson, lektor i U-M's Institut for Søarkitektur og Marine Engineering.

For at forklare den slags ekstrapolationer det neurale netværk kan foretage, Vasudevan beskriver et almindeligt syn.

"Hvis en fodgænger leger med sin telefon, du ved, at de er distraheret, "Sagde Vasudevan." Deres positur og hvor de leder, fortæller dig meget om deres opmærksomhed. Det fortæller dig også meget om, hvad de kan gøre næste gang. "

Resultaterne har vist, at dette nye system forbedrer et førerløst køretøjs evne til at genkende, hvad der sandsynligvis vil ske næste gang.

"Den mediane oversættelsesfejl for vores forudsigelse var cirka 10 cm efter et sekund og mindre end 80 cm efter seks sekunder. Alle andre sammenligningsmetoder var op til 7 meter væk, "Johnson-Roberson sagde." Vi er bedre til at finde ud af, hvor en person vil være. "

For at tøjle antallet af muligheder for at forudsige den næste bevægelse, forskerne anvendte de fysiske begrænsninger i menneskekroppen - vores manglende evne til at flyve eller vores hurtigst mulige hastighed til fods.

For at oprette det datasæt, der bruges til at træne UMs neurale netværk, forskere parkerede et køretøj med autonome funktioner på niveau 4 ved flere krydsninger i Ann Arbor. Med bilens kameraer og LiDAR vendt mod krydset, køretøjet kunne registrere flere dages data ad gangen.

Forskere understøttede den virkelige verden, "i naturen" data fra traditionelle posesæt, der er fanget i et laboratorium. Resultatet er et system, der vil hæve barren for, hvad førerløse køretøjer er i stand til.

"Vi er åbne for forskellige applikationer og spændende tværfaglige samarbejdsmuligheder, og vi håber at skabe og bidrage til en mere sikker, sundere, og mere effektivt bomiljø, "sagde U-M forskningsingeniør Xiaoxiao Du.