Forskere ser rundt om hjørner for at opdage objektformer

Forskere i computersyn har vist, at de kan bruge specielle lyskilder og sensorer til at se rundt om hjørner eller gennem glatte filtre, sætter dem i stand til at rekonstruere formerne på usete genstande.

Forskerne fra Carnegie Mellon University, University of Toronto og University College London sagde, at denne teknik gør det muligt for dem at rekonstruere billeder i stor detalje, herunder lettelse af George Washingtons profil på et amerikansk kvarter.

Ioannis Gkioulekas, en assisterende professor i Carnegie Mellon's Robotics Institute, sagde, at dette er første gang, forskere har været i stand til at beregne millimeter- og mikrometerskalaformer af buede objekter, leverer en vigtig ny komponent til en større pakke billeddannelsesteknikker, der ikke er synlige (NLOS), der nu udvikles af forskere inden for computersyn.

"Det er spændende at se kvaliteten af ​​rekonstruktioner af skjulte objekter komme tættere på de scanninger, vi er vant til at se for objekter, der er i synslinjen, " sagde Srinivasa Narasimhan, en professor ved Robotics Institute. "Så langt, vi kan kun opnå denne detaljeringsgrad for relativt små områder, men denne evne vil komplementere andre NLOS-teknikker."

Dette arbejde blev støttet af Defense Advanced Research Project Agency's REVEAL -program, som udvikler NLOS -kapaciteter. Forskningen vil blive præsenteret i dag på 2019-konferencen om computersyn og mønstergenkendelse (CVPR2019) i Long Beach, Californien, hvor den har modtaget en pris for bedste papir.

"Dette papir gør betydelige fremskridt inden for rekonstruktion uden for synsfeltet-i det væsentlige evnen til at se rundt om hjørner, " står der i prisen. "Det er både et smukt papir teoretisk såvel som inspirerende. Det fortsætter med at skubbe grænserne for, hvad der er muligt inden for computervision."

Det meste af det, folk ser - og hvad kameraer registrerer - kommer fra lys, der reflekteres fra en genstand og hopper direkte til øjet eller linsen. Men lys reflekteres også af objekterne i andre retninger, springer af vægge og genstande. En svag smule af dette spredte lys kan i sidste ende nå øjet eller linsen, men udvaskes af mere direkte, kraftige lyskilder. NLOS -teknikker forsøger at udtrække information fra spredt lys - naturligt forekommende eller på anden måde - og producere billeder af scener, genstande eller dele af genstande, som ikke på anden måde er synlige.

"Andre NLOS-forskere har allerede demonstreret NLOS-billeddannelsessystemer, der kan forstå scener i rumstørrelse, eller endda udtrække oplysninger ved kun at bruge naturligt forekommende lys, " sagde Gkioulekas. "Vi gør noget, der er komplementært til disse tilgange - hvilket gør det muligt for NLOS-systemer at fange fine detaljer over et lille område."

I dette tilfælde, forskerne brugte en ultrahurtig laser til at kaste lys fra en væg for at oplyse et skjult objekt. Ved at vide, hvornår laseren affyrede lysimpulser, forskerne kunne beregne den tid, det tog lyset at reflektere fra objektet, hoppe af væggen på sin returrejse og nå frem til en sensor.

"Denne time-of-flight-teknik ligner den for de lidarer, der ofte bruges af selvkørende biler til at bygge et 3-D-kort over bilens omgivelser, " sagde Shumian Xin, en ph.d. studerende i robotteknologi.

Tidligere forsøg på at bruge disse time-of-flight-beregninger til at rekonstruere et billede af objektet har været afhængig af lysstyrken af ​​reflektionerne fra det. Men i denne undersøgelse, Gkioulekas sagde, at forskerne udviklede en ny metode udelukkende baseret på objektets geometri, hvilket igen gjorde dem i stand til at skabe en algoritme til måling af dens krumning.

Forskerne brugte et billeddannelsessystem, der effektivt er en lidar, der er i stand til at fornemme enkeltpartikler af lys for at teste teknikken på genstande som f.eks. En plastkande, en glasskål, en plastskål og et kugleleje. De kombinerede også denne teknik med en billeddannelsesmetode kaldet optisk kohærenstomografi for at rekonstruere billederne af amerikanske kvarterer.

Ud over at se rundt om hjørner, teknikken viste sig at være effektiv til at gennemse diffuserende filtre, såsom tykt papir.

Teknikken er hidtil kun blevet demonstreret på korte afstande - højst en meter. Men forskerne spekulerer i, at deres teknik, baseret på geometriske målinger af objekter, kan kombineres med andre, komplementære tilgange til at forbedre NLOS-billeddannelse. Det kan også bruges i andre applikationer, såsom seismisk billeddannelse og akustisk og ultralydsbilleddannelse.

Ud over Narasimhan, Gkioulekas og Xin, forskergruppen omfattede Aswin Sankaranarayanan, adjunkt i CMU's Institut for Elektro- og Computerteknik; Sotiris Nousias, en ph.d.-studerende i medicinsk fysik og bioteknik ved University College London; og Kiriakos N. Kutulakos, professor i datalogi ved University of Toronto.