AI-designet kamera optager kun objekter af interesse, mens de er blinde for andre

I løbet af det sidste årti er digitale kameraer blevet bredt udbredt i forskellige aspekter af vores samfund og bliver massivt brugt i mobiltelefoner, sikkerhedsovervågning, autonome køretøjer og ansigtsgenkendelse. Gennem disse kameraer genereres enorme mængder billeddata, hvilket giver anledning til stigende bekymring for beskyttelse af privatlivets fred.

Nogle eksisterende metoder løser disse bekymringer ved at anvende algoritmer til at skjule følsom information fra de erhvervede billeder, såsom billedsløring eller kryptering. Sådanne metoder risikerer dog stadig eksponering af følsomme data, fordi de rå billeder allerede er optaget, før de gennemgår digital behandling for at skjule eller kryptere de følsomme oplysninger. Desuden kræver beregningen af ​​disse algoritmer yderligere strømforbrug. Der blev også gjort andre bestræbelser på at finde løsninger på dette problem ved at bruge tilpassede kameraer til at nedgradere billedkvaliteten, så identificerbar information kan skjules. Disse tilgange ofrer dog den overordnede billedkvalitet for alle objekter af interesse, hvilket er uønsket, og de er stadig sårbare over for modstridende angreb for at hente den følsomme information, der er registreret.

En ny forskningsartikel offentliggjort i eLight demonstreret et nyt paradigme for at opnå privatlivsbevarende billedbehandling ved at bygge en fundamentalt ny type billedkamera designet af AI. I deres papir præsenterede UCLA-forskere, ledet af professor Aydogan Ozcan, et smart kameradesign, der kun afbilder bestemte typer ønskede objekter, mens de øjeblikkeligt sletter andre typer objekter fra dets billeder uden at kræve nogen digital behandling.

Dette nye kameradesign består af successive transmissive overflader, som hver består af titusindvis af diffraktive funktioner på skalaen af ​​lysets bølgelængde. Strukturen af ​​disse transmissive overflader er optimeret ved hjælp af deep learning til at modulere fasen af ​​de transmitterede optiske felter, således at kameraet kun afbilder bestemte typer/klasser af ønskede objekter og sletter de andre. Efter dets dybe læringsbaserede design (træning) fremstilles og samles de resulterende lag i 3D, der danner det smarte kamera. Efter samlingen, når inputobjekterne fra målklasserne af objekter vises foran den, danner de billeder af høj kvalitet ved kameraets output - som ønsket. I modsætning hertil, når inputobjekterne foran det samme kamera tilhører andre uønskede klasser, slettes de optisk og danner ikke-informative og lavintensitetsmønstre, der ligner tilfældig støj.

Da den karakteristiske information om uønskede klasser af objekter slettes helt optisk ved kameraudgangen gennem lysdiffraktion, optager dette AI-designede kamera aldrig deres direkte billeder. Derfor er beskyttelsen af ​​privatlivets fred maksimeret, da et modstridende angreb, der har adgang til de optagede billeder af dette kamera, ikke kan bringe oplysningerne tilbage. Denne funktion kan også reducere kameraernes datalagring og transmissionsbelastning, da billederne af uønskede objekter ikke optages.

For eksperimentelt at demonstrere dette unikke dataspecifikke kamera, designede UCLA-forskerholdet det til specifikt og selektivt at afbilde kun én klasse af håndskrevne cifre og fremstillede det designede kamera ved hjælp af 3D-print. Dette 3D-printede kamera blev testet ved hjælp af terahertz-bølger, der belyser håndskrevne cifre. I overensstemmelse med kerneprincipperne i dets design var det smarte kamera kun i stand til selektivt at afbilde inputobjekterne, hvis de var håndskrevne cifre "2", mens det øjeblikkeligt slettede alle de andre håndskrevne cifre fra outputbillederne, hvilket gav lav-intensitet støj-lignende funktioner .

Ud over håndskrevne cifre demonstrerede UCLA-forskere også en anden variation af det samme klassespecifikke kameradesign ved selektivt at afbilde én type modeprodukt (for eksempel bukser), mens de øjeblikkeligt slettede andre modeprodukter fra kameraets output. Forskerholdet testede grundigt deres kameradesign under varierende lysforhold, som aldrig blev inkluderet i deres træning, og viste, at dette smarte kamera er robust over for variationer i belysning.

Ud over dataklassespecifik billeddannelse blev dette AI-baserede kameradesign også brugt til at bygge krypteringskameraer, hvilket giver et ekstra lag af sikkerhed og beskyttelse af privatlivets fred. Et sådant krypteringskamera, der er designet ved hjælp af AI-optimerede diffraktive lag, udfører optisk en valgt lineær transformation, udelukkende for målobjekterne af interesse. Only those with access to the decryption key (i.e., the inverse linear transformation in this case) can recover the original image of the target objects. On the other hand, the information of the other undesired objects is irreversibly lost since the AI-designed camera all-optically erases them at the output. Therefore, even if the decryption key is applied to the recorded images, it yields noise-like, unrecognizable features for other classes of undesired objects.

Except for the illumination light, this smart camera does not require any external power for its computation and operates at the speed of light. Therefore, it is fast, data- and energy-efficient, making it especially suitable for task-specific, privacy-aware, and power-limited imaging applications. The core teachings of this diffractive camera design can inspire future imaging systems that consume orders of magnitude less computing and data transmission power.

This research was led by Professor Aydogan Ozcan, the associate director of the California NanoSystems Institute (CNSI) and the Volgenau Chair for Engineering Innovation at the Electrical and Computer Engineering (ECE) department at UCLA, along with Professor Mona Jarrahi, the Northrop Grumman Endowed Chair and the director of the Terahertz Electronics Laboratory at UCLA ECE. The other authors of this work include graduate students Bijie Bai, Yi Luo, Tianyi Gan, Yuhang Li, Yifan Zhao, Deniz Mengu and post-doctoral researcher Dr. Jingtian Hu, all with the ECE department at UCLA. + Udforsk yderligere

All-optical phase recovery and quantitative phase imaging performed instantly without a computer