Et hurtigere enkeltpixelkamera:Ny teknik reducerer i høj grad antallet af eksponeringer, der er nødvendige for linseløs billeddannelse

Komprimeret sansning er en spændende ny beregningsteknik til at udtrække store mængder information fra et signal. I en højt profileret demonstration, for eksempel, forskere ved Rice University byggede et kamera, der kun kunne producere 2-D-billeder ved hjælp af kun en enkelt lyssensor frem for de millioner af lyssensorer, der findes i et varekamera.

Men at bruge komprimeret sansning til billedoptagelse er ineffektivt:Det "single-pixel kamera" havde brug for tusindvis af eksponeringer for at producere et rimeligt klart billede. Rapporterer deres resultater i journalen IEEE -transaktioner på computingsbilleddannelse , forskere fra MIT Media Lab beskriver nu en ny teknik, der gør billedoptagelse ved hjælp af komprimeret sansning 50 gange så effektiv. I tilfælde af et enkeltpikselskamera, det kan få antallet af eksponeringer ned fra tusinder til snesevis.

Et spændende aspekt ved komprimeret sansende billeddannelsessystemer er, at i modsætning til konventionelle kameraer, de kræver ikke linser. Det kan gøre dem nyttige i barske miljøer eller i applikationer, der bruger bølgelængder af lys uden for det synlige spektrum. At slippe af med linsen åbner nye muligheder for design af billeddannelsessystemer.

"Tidligere, billeddannelse krævede et objektiv, og linsen ville kortlægge pixels i rummet til sensorer i en matrix, med alt præcist struktureret og konstrueret, "siger Guy Satat, en kandidatstuderende på Media Lab og første forfatter på det nye papir. "Med computational imaging, begyndte vi at spørge:Er en linse nødvendig? Skal sensoren være et struktureret array? Hvor mange pixels skal sensoren have? Er en enkelt pixel tilstrækkelig? Disse spørgsmål nedbryder i det væsentlige den grundlæggende idé om, hvad et kamera er. Det faktum, at der kun kræves en enkelt pixel, og et objektiv ikke længere er nødvendigt, lindrer store designbegrænsninger, og muliggør udvikling af nye billeddannelsessystemer. Brug af ultrahurtig registrering gør målingen betydeligt mere effektiv. "

Rekursive applikationer

En af Satats medforfattere til det nye papir er hans specialerådgiver, lektor i mediekunst og videnskab Ramesh Raskar. Ligesom mange projekter fra Raskars gruppe, den nye komprimerede sansningsteknik afhænger af billeddannelse på tidspunktet for flyvningen, hvor et kort lysudbrud projiceres ind i en scene, og ultrahurtige sensorer måler, hvor lang tid lyset tager for at reflektere tilbage.

Teknikken anvender time-of-flight billeddannelse, men lidt cirkulært, en af ​​dens potentielle applikationer er at forbedre ydeevnen for time-of-flight-kameraer. Det kan således have konsekvenser for en række andre projekter fra Raskars gruppe, f.eks. et kamera, der kan se rundt om hjørner og billedbehandlingssystemer i synligt lys til medicinsk diagnose og køretøjsnavigation.

Mange prototypesystemer fra Raskars kamerakulturgruppe i Media Lab har brugt time-of-flight-kameraer kaldet streak-kameraer, som er dyre og vanskelige at bruge:De fanger kun en række billedpixels ad gangen. Men i de sidste par år er der kommet kommercielle time-of-flight-kameraer kaldet SPAD'er, til enkelt-foton lavinedioder.

Selvom det ikke er nær så hurtigt som streak -kameraer, SPAD'er er stadig hurtige nok til mange flyveprogrammer, og de kan tage et fuldstændigt 2-D-billede i en enkelt eksponering. Desuden, deres sensorer er bygget ved hjælp af fremstillingsteknikker, der er almindelige i computerchipsindustrien, så de burde være omkostningseffektive at masseproducere.

Med SPAD'er, elektronikken, der kræves for at drive hver sensorpixel, fylder så meget, at pixelerne ender langt fra hinanden på sensorchippen. I et konventionelt kamera, dette begrænser opløsningen. Men med komprimeret sansning, det øger det faktisk.

At komme et stykke

Grunden til, at enkeltpixelkameraet kan nøjes med en lyssensor, er, at lyset, der rammer det, er mønstret. En måde at mønstre lys på er at sætte et filter, lidt som et randomiseret sort-hvidt skakbræt, foran blitzen, der belyser scenen. En anden måde er at afvise det tilbagevendende lys fra en række små mikronspejle, hvoraf nogle er rettet mod lyssensoren, og nogle er ikke.

Sensoren foretager kun en enkelt måling - den kumulative intensitet af det indgående lys. Men hvis den gentager målingen nok gange, og hvis lyset har et andet mønster hver gang, software kan udlede intensiteten af ​​det lys, der reflekteres fra individuelle punkter i scenen.

Single-pixel kameraet var en medievenlig demonstration, men faktisk, komprimeret sansning fungerer bedre, jo flere pixels sensoren har. Og jo længere fra hinanden pixels er, jo mindre redundans der er i de målinger, de foretager, meget den måde, du ser mere af den visuelle scene før dig, hvis du tager to skridt til højre for dig frem for et. Og, selvfølgelig, jo flere målinger sensoren udfører, jo højere opløsning af det rekonstruerede billede.

Stordriftsfordele

Time-of-flight billeddannelse gør i det væsentlige en måling-med ét lysmønster-til snesevis af målinger, adskilt af billioner af sekunder. I øvrigt, hver måling svarer kun til en delmængde af pixels i det endelige billede - dem, der viser objekter i samme afstand. Det betyder, at der er mindre information at afkode i hver måling.

I deres papir, Satat, Raskar, og Matthew Tancik, en MIT -kandidatstuderende i elektroteknik og datalogi, præsentere en teoretisk analyse af komprimeret sansning, der bruger information om flyvetid. Deres analyse viser, hvor effektivt teknikken kan udtrække oplysninger om en visuel scene, ved forskellige opløsninger og med forskellige antal sensorer og afstande mellem dem.

De beskriver også en procedure til beregning af lysmønstre, der minimerer antallet af eksponeringer. Og, ved hjælp af syntetiske data, de sammenligner deres rekonstruktionsalgoritms ydeevne med eksisterende komprimerede sensingsalgoritmer. Men i det igangværende arbejde, de udvikler en prototype af systemet, så de kan teste deres algoritme på rigtige data.