Nyt objektivløst kamera skaber detaljerede 3-D-billeder uden scanning

Forskere har udviklet et let at bygge kamera, der producerer 3D-billeder fra et enkelt 2D-billede uden linser. I en første anvendelse af teknologien, forskerne planlægger at bruge det nye kamera, som de kalder DiffuserCam, at se mikroskopisk neuronaktivitet i levende mus uden mikroskop. Ultimativt, det kan vise sig nyttigt til en lang række applikationer, der involverer 3D -optagelse.

Kameraet er kompakt og billigt at konstruere, fordi det kun består af en diffuser - i det væsentlige et ujævnt stykke plast - placeret oven på en billedsensor. Selvom hardwaren er enkel, den software, den bruger til at rekonstruere 3D -billeder i høj opløsning, er meget kompleks.

"DiffuserCam kan, i et enkelt skud, fange 3D -information i et stort volumen med høj opløsning, "sagde forskningsteamlederen Laura Waller, University of California, Berkeley. "Vi tror, ​​at kameraet kan være nyttigt til selvkørende biler, hvor 3D -informationen kan tilbyde en følelse af skala, eller det kan bruges sammen med maskinlæringsalgoritmer til at udføre ansigtsgenkendelse, spore mennesker eller automatisk klassificere objekter."

I Optica , The Optical Society's journal for high impact research, forskerne viser, at DiffuserCam kan bruges til at rekonstruere 100 millioner voxels, eller 3D -pixels, fra et 1,3-megapixel (1,3 millioner pixels) billede uden nogen scanning. Til sammenligning, iPhone X-kameraet tager 12 megapixel-fotos. Forskerne brugte kameraet til at fange 3D -strukturen af ​​blade fra en lille plante.

"Vores nye kamera er et godt eksempel på, hvad der kan opnås med computational imaging - en tilgang, der undersøger, hvordan hardware og software kan bruges sammen til at designe billedbehandlingssystemer, "sagde Waller." Vi gjorde en fælles indsats for at holde hardwaren ekstremt enkel og billig. Selvom softwaren er meget kompliceret, det kan også let replikeres eller distribueres, tillader andre at oprette denne type kamera derhjemme. "

Et DiffuserCam kan oprettes ved hjælp af enhver type billedsensor og kan afbilde objekter, der spænder fra mikroskopisk skala helt op til størrelsen af ​​en person. Det giver en opløsning i titalls mikrons rækkevidde, når billeddannelse af objekter tæt på sensoren. Selvom opløsningen falder, når der tages billeder af en scene længere væk fra sensoren, det er stadig højt nok til at skelne mellem, at en person står flere meter tættere på kameraet end en anden person, for eksempel.

En enkel tilgang til kompleks billeddannelse

DiffuserCam er en slægtning til lysfeltkameraet, som fanger, hvor meget lys der rammer en pixel på billedsensoren samt den vinkel, hvorfra lyset rammer denne pixel. I et typisk lysfeltkamera, en række små linser placeret foran sensoren bruges til at fange retningen af ​​det indgående lys, muliggøre beregningsmetoder til at fokusere billedet igen og oprette 3D -billeder uden de scanningstrin, der typisk kræves for at opnå 3D -information.

Indtil nu, lysfeltkameraer har været begrænset i rumlig opløsning, fordi nogle rumlige oplysninger går tabt under indsamling af den retningsbestemte information. En anden ulempe ved disse kameraer er, at mikrolinserne er dyre og skal tilpasses til et bestemt kamera eller optiske komponenter, der bruges til billeddannelse.

"Jeg ville se, om vi kunne opnå de samme billeddannelsesmuligheder ved hjælp af enkel og billig hardware, "sagde Waller." Hvis vi har bedre algoritmer, kunne den omhyggeligt designet, dyre mikrolinse -arrays udskiftes med en plastoverflade med et tilfældigt mønster som f.eks. et ujævnt stykke plast? "

Efter at have eksperimenteret med forskellige typer diffusorer og udviklet de komplekse algoritmer, Nick Antipa og Grace Kuo, studerende i Wallers laboratorium, opdagede, at Wallers idé til et simpelt lysfeltkamera var muligt. Faktisk, ved hjælp af tilfældige stød i fortrolige glasklistermærker, Scotch tape eller plastic konference badge indehavere, gjorde det muligt for forskerne at forbedre traditionelle lysfeltkamera-kapaciteter ved at bruge komprimeret sensing for at undgå det typiske opløsningstab, der følger med mikrolinse-arrays.

Selvom andre lysfeltkameraer bruger objektivarrays, der er præcist designet og justeret, den nøjagtige størrelse og form på stødene i det nye kameras diffusor er ukendte. Det betyder, at der skal erhverves et par billeder af et lyspunkt i bevægelse for at kalibrere softwaren før billeddannelse. Forskerne arbejder på en måde at eliminere dette kalibreringstrin ved at bruge de rå data til kalibrering. De vil også forbedre nøjagtigheden af ​​softwaren og gøre 3D -rekonstruktionen hurtigere.

Intet mikroskop påkrævet

Det nye kamera vil blive brugt i et projekt ved University of California Berkeley, der har til formål at se en million individuelle neuroner, mens det stimulerer 1, 000 af dem med enkeltcellet nøjagtighed. Projektet er finansieret af DARPA's Neural Engineering System Design -program - en del af den føderale regerings BRAIN Initiative - til at udvikle implanterbare, biokompatible neurale grænseflader, der i sidste ende kunne kompensere for syns- eller hørenedsættelser.

Som et første skridt, forskerne vil skabe det, de kalder et kortikalt modem, der vil "læse" og "skrive" til hjernerne i dyremodeller, meget ligesom input-output-aktiviteten af ​​internetmodemer. DiffuserCam vil være hjertet i læseenheden til dette projekt, som også vil bruge specielle proteiner, der gør det muligt for forskere at kontrollere neuronal aktivitet med lys.

"Brug af dette til at se neuroner skyde i en musens hjerne kan i fremtiden hjælpe os med at forstå mere om sensorisk opfattelse og give viden, der kan bruges til at helbrede sygdomme som Alzheimers eller psykiske lidelser, sagde Waller.

Selvom nyudviklede billeddannelsesteknikker kan fange hundredvis af neuroner, der skyder, hvordan hjernen fungerer i større skalaer er ikke fuldt ud forstået. DiffuserCam har potentialet til at give denne indsigt ved at afbilde millioner af neuroner i ét skud. Fordi kameraet er let og ikke kræver mikroskop eller objektiv, den kan fastgøres til et gennemsigtigt vindue i en museskalle, tillader neuronal aktivitet at blive forbundet med adfærd. Flere arrays med overliggende diffusorer kunne flises til at afbilde store områder.

Et behov for tværfaglige designere

"Vores arbejde viser, at computational imaging kan være en kreativ proces, der undersøger alle dele af det optiske design og algoritmedesign for at skabe optiske systemer, der udfører ting, der ikke kunne gøres før, eller for at bruge en enklere tilgang til noget, der kunne gøres før , "Sagde Waller." Dette er en meget kraftfuld retning til billeddannelse, men kræver designere med optisk og fysisk ekspertise samt beregningskendskab. "

Det nye Berkeley Center for Computational Imaging, ledet af Waller, arbejder på at uddanne flere forskere inden for dette tværfaglige område. Forskere fra centret mødes også ugentligt med bioingeniører, fysikere og elektriske ingeniører samt eksperter i signalbehandling og maskinlæring for at udveksle ideer og for bedre at forstå billedbehovene på andre felter.