Forskere bruger kunstig intelligens til at øge billedkvaliteten af ​​metalens kamera

Forskere har udnyttet deep learning-teknikker til at forbedre billedkvaliteten af ​​et metalens-kamera. Den nye tilgang bruger kunstig intelligens til at omdanne billeder af lav kvalitet til billeder af høj kvalitet, hvilket kan gøre disse kameraer levedygtige til en lang række billedbehandlingsopgaver, herunder indviklede mikroskopiapplikationer og mobile enheder.

Metalenses er ultratynde optiske enheder - ofte kun en brøkdel af en millimeter tykke - der bruger nanostrukturer til at manipulere lys. Selvom deres lille størrelse potentielt kunne muliggøre ekstremt kompakte og lette kameraer uden traditionelle optiske linser, har det været svært at opnå den nødvendige billedkvalitet med disse optiske komponenter.

"Vores teknologi gør det muligt for vores metalens-baserede enheder at overvinde begrænsningerne af billedkvalitet," sagde leder af forskningsteamet Ji Chen fra Southeast University i Kina. "Dette fremskridt vil spille en vigtig rolle i den fremtidige udvikling af meget bærbar forbrugerbilleddannelseselektronik og kan også bruges i specialiserede billedbehandlingsapplikationer såsom mikroskopi."

I tidsskriftet Optics Letters , beskriver forskerne, hvordan de brugte en type maskinlæring kendt som et multi-skala konvolutionelt neuralt netværk til at forbedre opløsning, kontrast og forvrængning i billeder fra et lille kamera - omkring 3 cm × 3 cm × 0,5 cm - de skabte ved direkte at integrere a metalens på en CMOS-billed-chip.

"Metalens-integrerede kameraer kan integreres direkte i billedmodulerne på smartphones, hvor de kan erstatte de traditionelle refraktive bulk-linser," sagde Chen. "De kunne også bruges i enheder som droner, hvor den lille størrelse og lette kamera ville sikre billedkvalitet uden at kompromittere dronens mobilitet."

Forbedring af billedkvaliteten

Kameraet, der blev brugt i det nye arbejde, er tidligere udviklet af forskerne og bruger en metalens med 1000 nm høje cylindriske siliciumnitrid nano-poster. Metalens fokuserer lys direkte på en CMOS-billedsensor uden at kræve andre optiske elementer.

Selvom dette design skabte et meget lille kamera, begrænsede den kompakte arkitektur billedkvaliteten. Derfor besluttede forskerne at se, om maskinlæring kunne bruges til at forbedre billederne.

Deep learning er en type maskinlæring, der bruger kunstige neurale netværk med flere lag til automatisk at lære funktioner fra data og træffe komplekse beslutninger eller forudsigelser. Forskerne anvendte denne tilgang ved at bruge en konvolutionsbilledmodel til at generere et stort antal billedpar af høj og lav kvalitet. Disse billedpar blev brugt til at træne et multi-skala foldet neuralt netværk, så det kunne genkende hver type billedes egenskaber og bruge det til at omdanne billeder af lav kvalitet til billeder af høj kvalitet.

"En vigtig del af dette arbejde var at udvikle en måde at generere den store mængde træningsdata, der er nødvendig for den neurale netværkslæringsproces," sagde Chen. "Når det er trænet, kan et billede af lav kvalitet sendes fra enheden til det neurale netværk til behandling, og billedbehandlingsresultater af høj kvalitet opnås med det samme."

Anvendelse af det neurale netværk

For at validere den nye deep learning-teknik brugte forskerne den på 100 testbilleder. De analyserede to almindeligt anvendte billedbehandlingsmetrikker:det maksimale signal-til-støj-forhold og det strukturelle lighedsindeks.

De fandt ud af, at billederne, der blev behandlet af det neurale netværk, udviste en betydelig forbedring i begge målinger. De viste også, at tilgangen hurtigt kunne generere billeddata af høj kvalitet, der lignede det, der blev fanget direkte gennem eksperimenter.

Forskerne designer nu metalenses med komplekse funktionaliteter - såsom farve- eller vidvinkelbilleddannelse - og udvikler neurale netværksmetoder til at forbedre billedkvaliteten af ​​disse avancerede metalenses. For at gøre denne teknologi praktisk til kommerciel anvendelse ville det kræve nye samlingsteknikker til at integrere metalenses i smartphone-billeddannelsesmoduler og billedkvalitetsforbedringssoftware designet specielt til mobiltelefoner.

"Ultra-lette og ultratynde metalenses repræsenterer en revolutionerende teknologi til fremtidig billeddannelse og detektion," sagde Chen. "At udnytte deep learning-teknikker til at optimere metalens ydeevne markerer en afgørende udviklingsbane. Vi forudser maskinlæring som en afgørende trend i at fremme fotonikforskning."