Lektioner af konventionel billeddannelse lader videnskabsmænd se rundt om hjørner

Sammen med flyvning og usynlighed, højt på listen over ethvert barns håbefulde superkræfter er evnen til at se gennem eller omkring vægge eller andre visuelle forhindringer. Den evne er nu et stort skridt tættere på virkeligheden, da forskere fra University of Wisconsin-Madison og Universidad de Zaragoza i Spanien, trækker på erfaringerne fra klassisk optik, har vist, at det er muligt at afbilde komplekse skjulte scener ved hjælp af et projiceret "virtuelt kamera" til at se rundt om barrierer.

Teknologien er beskrevet i en rapport i dag (5. august, 2019) i bladet Natur . Når de er blevet perfektioneret, det kan bruges i en lang række applikationer, fra forsvar og katastrofehjælp til fremstilling og medicinsk billeddannelse. Arbejdet er i vid udstrækning blevet finansieret af militæret gennem det amerikanske forsvarsministeriums Advanced Research Projects Agency (DARPA) og af NASA, som forestiller sig teknologien som en potentiel måde at kigge ind i skjulte huler på månen og Mars.

Teknologier til at opnå, hvad forskerne kalder "non-line-of-sight imaging" har været under udvikling i årevis, men tekniske udfordringer har begrænset dem til fuzzy billeder af simple scener. Udfordringer, der kunne overvindes med den nye tilgang, omfatter billeddannelse af langt mere komplekse skjulte scener, se rundt om flere hjørner og tage video.

"Denne ikke-line-of-sight-billeddannelse har eksisteret i et stykke tid, siger Andreas Velten, en professor i biostatistik og medicinsk informatik i UW School of Medicine and Public Health og seniorforfatter af det nye Natur undersøgelse. "Der har været mange forskellige tilgange til det."

Den grundlæggende idé om ikke-line-of-sight-billeddannelse, Velten siger, drejer sig om brugen af ​​indirekte, reflekteret lys, en slags let ekko, at tage billeder af en skjult scene. Fotoner fra tusindvis af pulser af laserlys reflekteres fra en væg eller en anden overflade til en skjult scene og de reflekterede, diffust lys hopper tilbage til sensorer forbundet til et kamera. De genfangede lyspartikler eller fotoner bruges derefter til digitalt at rekonstruere den skjulte scene i tre dimensioner.

"Vi sender lysimpulser til en overflade og ser lyset komme tilbage, og ud fra det kan vi se, hvad der er i den skjulte scene, " forklarer Velten.

Nyligt arbejde fra andre forskergrupper har fokuseret på at forbedre kvaliteten af ​​sceneregenerering under kontrollerede forhold ved brug af små scener med enkelte objekter. Arbejdet præsenteret i den nye Natur rapporten går ud over simple scener og adresserer de primære begrænsninger for eksisterende ikke-line-of-sight billedbehandlingsteknologi, herunder varierende materialekvaliteter af væggene og overfladerne af de skjulte genstande, store variationer i lysstyrke af forskellige skjulte objekter, kompleks indbyrdes refleksion af lys mellem objekter i en skjult scene, og de enorme mængder støjende data, der bruges til at rekonstruere større scener.

Sammen, disse udfordringer har hindret praktiske anvendelser af nye ikke-line-of-sight billeddannelsessystemer.

Velten og hans kolleger, herunder Diego Gutierrez fra Universidad de Zaragoza, vendte problemet, se på det gennem et mere konventionelt prisme ved at anvende den samme matematik, der bruges til at fortolke billeder taget med konventionelle line-of-sight billeddannelsessystemer. Den nye metode overvinder brugen af ​​en enkelt rekonstruktionsalgoritme og beskriver en ny klasse af billedbehandlingsalgoritmer, der deler unikke fordele.

Konventionelle systemer, bemærker Gutierrez, fortolke diffrakteret lys som bølger, som kan formes til billeder ved at anvende velkendte matematiske transformationer til lysbølgerne, der forplanter sig gennem billeddannelsessystemet.

I tilfælde af ikke-line-of-sight billeddannelse, udfordringen med at afbilde en skjult scene, siger Velten, løses ved at omformulere det ikke-line-of-sight billeddannelsesproblem som et bølgediffraktionsproblem og derefter bruge velkendte matematiske transformationer fra andre billeddannelsessystemer til at fortolke bølgerne og rekonstruere et billede af en skjult scene. Ved at gøre dette, den nye metode gør enhver diffus væg til et virtuelt kamera.

"Det, vi gjorde, var at udtrykke problemet ved hjælp af bølger, siger Velten, som også har fakultetsudnævnelser i UW-Madisons afdeling for elektro- og computerteknik og afdelingen for biostatistik og medicinsk informatik, og er tilknyttet Morgridge Institute for Research og UW-Madison Laboratory for Optical and Computational Instrumentation. "Systemerne har den samme underliggende matematik, men vi fandt ud af, at vores rekonstruktion er overraskende robust, selv bruger virkelig dårlige data. Du kan gøre det med færre fotoner."

Ved at bruge den nye tilgang, Veltens team viste, at skjulte scener kan afbildes på trods af udfordringerne med scenekompleksitet, forskelle i reflektormaterialer, spredt omgivende lys og varierende dybdeskarphed for de objekter, der udgør en scene.

Evnen til i det væsentlige at projicere et kamera fra en overflade til en anden antyder, at teknologien kan udvikles til et punkt, hvor det er muligt at se rundt om flere hjørner:"Dette skulle give os mulighed for at tage billeder omkring et vilkårligt antal hjørner, " siger Velten. "For at gøre det, lys skal gennemgå flere refleksioner, og problemet er, hvordan adskiller man lyset, der kommer fra forskellige overflader? Dette 'virtuelle kamera' kan gøre det. Det er grunden til den komplekse scene:der er flere afvisninger i gang, og kompleksiteten af ​​den scene, vi afbilleder, er større end det, der er blevet gjort før."

Ifølge Velten, teknikken kan anvendes til at skabe virtuelle projicerede versioner af ethvert billedbehandlingssystem, selv videokameraer, der fanger lysets udbredelse gennem den skjulte scene. Veltens hold, faktisk, brugte teknikken til at lave en video af lystransport i den skjulte scene, muliggør visualisering af lys, der hopper op til fire eller fem gange, hvilken, ifølge Wisconsin-forskeren, kan være grundlaget for, at kameraer kan se rundt om mere end ét hjørne.

Teknologien kan blive yderligere og mere dramatisk forbedret, hvis der kan udtænkes rækker af sensorer til at fange lyset, der reflekteres fra en skjult scene. Forsøgene beskrevet i den nye Natur papiret afhang af kun en enkelt detektor.

Inden for medicin, teknologien lover for ting som robotkirurgi. Nu, kirurgens synsfelt er begrænset, når der udføres følsomme procedurer på øjet, for eksempel, og teknikken udviklet af Veltens team kunne give et mere komplet billede af, hvad der foregår omkring en procedure.

Ud over at hjælpe med at løse mange af de tekniske udfordringer ved ikke-line-of-sight billeddannelse, teknologien, Velten bemærker, kan laves både billigt og kompakt, hvilket betyder, at applikationer i den virkelige verden kun er et spørgsmål om tid.