3-D-kamera får sine striber

Striber er på mode denne sæson på et Rice University laboratorium, hvor forskere bruger dem til at lave billeder, som almindelige kameraer aldrig kunne fange.

Deres kompakte Hyperspectral Stripe Projector (HSP) er et skridt mod en ny metode til at indsamle den rumlige og spektrale information, der kræves til selvkørende biler, maskinsyn, overvågning af afgrøder, overfladeslid og korrosionsdetektion og andre applikationer.

"Jeg kan forestille mig denne teknologi i hænderne på en landmand, eller på en drone, at se på en mark og se ikke kun næringsstoffer og vandindhold i planter, men også, på grund af 3D-aspektet, højden af ​​afgrøderne, " sagde Kevin Kelly, en lektor i elektro- og computerteknik ved Rice's Brown School of Engineering. "Eller måske kan den se på et maleri og se overfladens farver og tekstur i detaljer, men med nær-infrarød se også nedenunder til lærredet."

Kellys laboratorium kunne muliggøre 3D-spektroskopi i farten med et system, der kombinerer HSP, et monokromt sensorarray og sofistikeret programmering for at give brugerne et mere komplet billede af et objekts form og sammensætning.

"Vi får firedimensionel information fra et billede, tre rumlige og en spektral, i realtid, " sagde Kelly. "Andre mennesker bruger flere modulatorer og kræver derfor kraftige lyskilder for at opnå dette, men vi fandt ud af, at vi kunne gøre det med en lyskilde med normal lysstyrke og noget smart optik."

Værket af Kelly, hovedforfatter og ris-alumna Yibo Xu og kandidatstuderende Anthony Giljum er detaljeret beskrevet i et oplæg med åben adgang i Optik Express .

HSP tager udgangspunkt i bærbare 3-D-billedteknikker, der allerede er i forbrugernes hænder – tænk på ansigts-ID-systemer i smartphones og kropsmålere i spilsystemer – og tilføjer en måde at trække brede spektrale data fra hver pixel, der fanges. Disse komprimerede data rekonstrueres til et 3D-kort med spektral information, der kan inkorporere hundredvis af farver og bruges til at afsløre ikke kun formen på et objekt, men også dets materialesammensætning.

"Almindelig RGB (rød, grøn, blå) kameraer giver dig stort set kun tre spektralkanaler, " sagde Xu. "Men et hyperspektralt kamera giver os spektre i mange, mange kanaler. Vi kan fange rød på omkring 700 nanometer og blå på omkring 400 nanometer, men vi kan også have båndbredder med hvert par nanometer eller mindre imellem. Det giver os en fin spektral opløsning og en bedre forståelse af scenen.

"HSP koder samtidig dybde- og hyperspektrale målinger på en meget enkel og effektiv måde, tillader brugen af ​​et monokromt kamera i stedet for et dyrt hyperspektralt kamera, som det typisk bruges i lignende systemer, " sagde Xu, som tog sin doktorgrad hos Rice i 2019 og nu er maskinlærings- og computersynsforskningsingeniør hos Samsung Research America Inc. Hun udviklede både hardwaren og rekonstruktionssoftwaren som en del af sit speciale i Kellys laboratorium.

HSP bruger en digital mikrospejlenhed (DMD) til at projicere mønstrede striber, der ligner farverige stregkoder, på en overflade. Sending af hvidt-lysprojektionen gennem et diffraktionsgitter adskiller de overlappende mønstre i farver.

Hver farve reflekteres tilbage til det monokrome kamera, som tildeler et numerisk gråniveau til den pågældende pixel.

Hver pixel kan have flere niveauer, en for hver farvestribe, den afspejler. Disse er rekombineret til en samlet spektral værdi for den del af objektet.

"Vi bruger en enkelt DMD og et enkelt gitter i HSP, " sagde Xu. "Det nye optiske design med at folde lysbanen tilbage til det samme diffraktionsgitter og linse er det, der gør den virkelig kompakt. Den enkelte DMD giver os mulighed for at beholde det lys, vi ønsker, og smide resten væk."

Disse finjusterede spektre kan nå ud over synligt lys. Det, de reflekterer tilbage til sensoren som multipleksede finbåndsspektre, kan bruges til at identificere materialets kemiske sammensætning.

På samme tid, forvrængninger i mønsteret rekonstrueres til 3-D punktskyer, i det væsentlige et billede af målet, men med meget flere data, end et almindeligt øjebliksbillede kunne give.

Kelly forestiller sig HSP indbygget i billygter, der kan se forskellen mellem en genstand og en person. "Det kunne aldrig blive forvekslet mellem en grøn kjole og en grøn plante, fordi alt har sin egen spektrale signatur, " han sagde.

Kelly mener, at laboratoriet i sidste ende vil inkorporere ideer fra Rices banebrydende single-pixel kamera for yderligere at reducere størrelsen af ​​enheden og også tilpasse den til komprimerende videooptagelse.