At se objekter i bevægelse rundt om hjørner

David Lindell, en kandidatstuderende i elektroteknik ved Stanford University, tog en træningsdragt på med høj synlighed og gik i gang, strække, går og hopper hen over et tomt rum. Gennem et kamera rettet væk fra Lindell - mod hvad der så ud til at være en tom væg - kunne hans kolleger se hver eneste bevægelse.

Det er fordi, skjult for det blotte øje, han blev scannet af en kraftig laser, og de enkelte lyspartikler, han reflekterede på væggene omkring ham, blev fanget og rekonstrueret af kameraets avancerede sensorer og behandlingsalgoritme.

"Folk taler om at bygge et kamera, der kan se lige så godt som mennesker til applikationer som autonome biler og robotter, men vi ønsker at bygge systemer, der rækker langt ud over det, " sagde Gordon Wetzstein, en assisterende professor i elektroteknik ved Stanford. "Vi vil se tingene i 3D, rundt om hjørner og ud over det synlige lysspektrum."

Kamerasystemet Lindell testede, som forskerne præsenterer på SIGGRAPH 2019-konferencen 1. august, bygger på tidligere rundt om hjørnet-kameraer, som dette team har udviklet. Det er i stand til at fange mere lys fra en større række forskellige overflader, se bredere og længere væk og er hurtig nok til at overvåge bevægelser ude af syne – som f.eks. Lindells calisthenics – for første gang. En skønne dag, forskerne håber, at overmenneskelige synssystemer kan hjælpe autonome biler og robotter til at fungere endnu mere sikkert, end de ville med menneskelig vejledning.

Praktisk og seismologi

At holde deres system praktisk er en høj prioritet for disse forskere. Hardwaren de valgte, scannings- og billedbehandlingshastigheder, og billeddannelsesstilen er allerede almindelig i autonome bilsynssystemer. Tidligere systemer til at se scener uden for et kameras synslinje var afhængige af objekter, der enten reflekterer lys jævnt eller kraftigt. Men objekter fra den virkelige verden, inklusive skinnende biler, falder uden for disse kategorier, så dette system kan håndtere lys, der preller af en række overflader, inklusive discokugler, bøger og indviklet teksturerede statuer.

Centralt for deres fremrykning var en laser 10, 000 gange stærkere end det, de brugte for et år siden. Laseren scanner en væg modsat scenen af ​​interesse, og det lys hopper af væggen, rammer objekterne i scenen, hopper tilbage til væggen og til kamerasensorerne. Når laserlyset når kameraet, er der kun pletter tilbage, men sensoren fanger alle, sende det videre til en meget effektiv algoritme, også udviklet af dette team, der løser disse lysekkoer for at tyde det skjulte tableau.

"Når du ser laseren scanne den ud, du ser ikke noget, " beskrev Lindell. "Med denne hardware, vi kan dybest set bremse tiden og afsløre disse lysspor. Det ligner næsten magi."

Systemet kan scanne med fire billeder i sekundet. Det kan rekonstruere en scene med hastigheder på 60 billeder i sekundet på en computer med en grafisk behandlingsenhed, hvilket forbedrer grafikbehandlingsmulighederne.

For at fremme deres algoritme, holdet kiggede til andre områder for at få inspiration. Forskerne blev især tiltrukket af seismiske billeddannelsessystemer - som afviser lydbølger fra underjordiske lag af Jorden for at lære, hvad der er under overfladen - og rekonfigurerede deres algoritme til ligeledes at fortolke hoppende lys som bølger, der kommer fra de skjulte objekter. Resultatet var den samme høje hastighed og lave hukommelsesforbrug med forbedringer i deres evner til at se store scener indeholdende forskellige materialer.

"Der er mange ideer, der bliver brugt i andre rum - seismologi, billeddannelse med satellitter, syntetisk blænderadar - der kan bruges til at kigge rundt om hjørner, " sagde Matthew O" Toole, en assisterende professor ved Carnegie Mellon University, som tidligere var postdoc i Wetzsteins laboratorium. "Vi forsøger at tage lidt fra disse felter, og vi vil forhåbentlig være i stand til at give noget tilbage til dem på et tidspunkt."

Ydmyge skridt

At kunne se bevægelser i realtid fra ellers usynligt lys hoppet rundt om et hjørne var et spændende øjeblik for dette hold, men et praktisk system til autonome biler eller robotter vil kræve yderligere forbedringer.

"Det er meget ydmyge trin. Bevægelsen ser stadig lavopløst ud, og den er ikke superhurtig, men sammenlignet med det nyeste sidste år er det en betydelig forbedring, " sagde Wetzstein. "Vi blev blæst væk første gang, vi så disse resultater, fordi vi har fanget data, som ingen har set før."

Holdet håber at gå hen imod at teste deres system på autonome forskningsbiler, mens man ser på andre mulige applikationer, såsom medicinsk billeddannelse, der kan se gennem væv. Blandt andre forbedringer af hastighed og opløsning, de vil også arbejde på at gøre deres system endnu mere alsidigt til at håndtere udfordrende visuelle forhold, som chauffører møder, såsom tåge, regn, sandstorme og sne.