Nyt kamera uden linse skaber 3D-billeder fra en enkelt eksponering

Forskere har udviklet et kamera, der bruger et tyndt mikrolinsearray og nye billedbehandlingsalgoritmer til at fange 3D-information om objekter i en scene med en enkelt eksponering. Kameraet kan være nyttigt til en række applikationer såsom industriel delinspektion, gestusgenkendelse og indsamling af data til 3D-displaysystemer.

"Vi betragter vores kamera som linseløst, fordi det erstatter de bulk-linser, der bruges i konventionelle kameraer, med et tyndt, let mikrolinse-array lavet af fleksibel polymer," sagde leder af forskningsteamet Weijian Yang fra University of California, Davis. "Fordi hver mikrolinse kan observere objekter fra forskellige betragtningsvinkler, kan den udføre komplekse billeddannelsesopgaver såsom at indhente 3D-information fra objekter, der delvist er skjult af objekter tættere på kameraet."

I tidsskriftet Optics Express , Yang og førsteforfatter Feng Tian, ​​en doktorand i Yangs laboratorium, beskriver det nye 3D-kamera. Fordi kameraet lærer af eksisterende data, hvordan man digitalt rekonstruerer en 3D-scene, kan det producere 3D-billeder i realtid.

"Dette 3D-kamera kunne bruges til at give robotter 3D-syn, som kunne hjælpe dem med at navigere i 3D-rum eller muliggøre komplekse opgaver såsom manipulation af fine objekter," sagde Yang. "Det kan også bruges til at erhverve rig 3D-information, der kunne levere indhold til 3D-skærme, der bruges i spil, underholdning eller mange andre applikationer."

Et kamera, der lærer

Det nye kamera voksede ud af tidligere arbejde, hvor forskerne udviklede et kompakt mikroskop, der kan afbilde 3D mikroskopiske strukturer til biomedicinske applikationer. "Vi byggede mikroskopet ved hjælp af et mikrolinsearray og troede, at et lignende koncept kunne anvendes til billeddannelse af makroskopiske objekter," sagde Yang.

De individuelle linser i det nye kamera gør det muligt at se objekter fra forskellige vinkler eller perspektiver, hvilket giver dybdeinformation. Selvom andre forskergrupper har udviklet kameraer baseret på enkeltlags mikrolinse-arrays, har det været vanskeligt at gøre dem praktiske på grund af omfattende kalibreringsprocesser og langsomme rekonstruktionshastigheder.

For at lave et mere praktisk 3D-kamera til makroskopiske objekter overvejede forskerne mikrolinse-arrayet og rekonstruktionsalgoritmen sammen i stedet for at nærme sig hver for sig. De specialdesignede og fremstillede mikrolinsearrayet, som indeholder 37 små linser fordelt i et cirkulært lag af polymer, der kun er 12 millimeter i diameter. Rekonstruktionsalgoritmen, de udviklede, er baseret på et højeffektivt kunstigt neuralt netværk, der lærer at kortlægge information fra billedet tilbage til objekterne i en scene.

"Mange eksisterende neurale netværk kan udføre udpegede opgaver, men den underliggende mekanisme er svær at forklare og forstå," sagde Yang. "Vores neurale netværk er baseret på en fysisk model for billedrekonstruktion. Dette gør indlæringsprocessen meget lettere og resulterer i rekonstruktioner af høj kvalitet."

Når indlæringsprocessen er afsluttet, kan den rekonstruere billeder, der indeholder objekter, der er i forskellige afstande fra kameraet med meget høj hastighed. Det nye kamera behøver ikke kalibrering og kan bruges til at kortlægge 3D-placeringer og rumlige profiler – eller konturer – af objekter.

Se gennem objekter

Efter at have udført numeriske simuleringer for at verificere kameraets ydeevne udførte forskerne 2D-billeder, der viste perceptuelt tiltalende resultater. De testede derefter kameraets evne til at udføre 3D-billeder af objekter i forskellige dybder. Den resulterende 3D-rekonstruktion kunne omfokuseres til forskellige dybder eller afstande. Kameraet skabte også et dybdekort, der stemte overens med det faktiske objektarrangement.

"I en sidste demonstration viste vi, at vores kamera kunne afbilde objekter bag de uigennemsigtige forhindringer," sagde Yang. "Så vidt vi ved, er dette den første demonstration af billeddannelse af objekter bag uigennemsigtige forhindringer ved hjælp af et objektivløst kamera."

Forskerne arbejder i øjeblikket på at reducere artefakter eller fejl, der opstår i 3D-rekonstruktionerne og på at forbedre algoritmerne for at opnå endnu højere kvalitet og hastighed. De ønsker også at miniaturisere enhedens samlede fodaftryk, så den kan passe ind i en mobiltelefon, hvilket ville gøre den mere bærbar og muliggøre flere applikationer.

"Vores linseløse 3D-kamera bruger computational imaging, en ny tilgang, der i fællesskab optimerer billeddannelseshardware og objektrekonstruktionsalgoritmer for at opnå ønskede billedbehandlingsopgaver og kvalitet," sagde Yang. "Med den seneste udvikling af billige, avancerede fremstillingsteknikker for mikrooptik samt fremskridt inden for maskinlæring og beregningsressourcer, vil computerbaseret billedbehandling muliggøre mange nye billeddannelsessystemer med avanceret funktionalitet." + Udforsk yderligere

Forskere skaber et miniature vidvinkelkamera med flade metalenheder