Optisk opfindelse afspejler billedbehandlingsevnen i et menneskeligt øje

På en kold, solrig dag kører du på en landvej, omgivet af snedækkede marker. På et øjeblik behandler dine øjne scenen og udvælger individuelle objekter at fokusere på – et stopskilt, en lade – mens resten af ​​scenen sløres i periferien. Din hjerne gemmer de fokuserede og slørede billeder som et minde, der kan afbildes i dit sind senere, mens du sidder ved dit skrivebord.

Ved at efterligne det menneskelige øjes nemme, øjeblikkelige billedbehandlingskraft skabte Penn State-elektroingeniørforskere en metasurface:et optisk element, der ligner en glasplade, der bruger bittesmå nanostrukturer placeret i forskellige vinkler til at styre lyset. Ledet af den tilsvarende forfatter Xingjie Ni, lektor i elektroteknik og datalogi (EECS) ved Penn State, offentliggjorde holdet deres opfindelse i Nature Communications .

Kunstig intelligens (AI)-systemer kræver betydelig computerkraft og energi og kan være langsomme til at behandle billeder og identificere objekter, ifølge forskerne. Derimod kan metaoverfladen bruges til at forbehandle og transformere billeder, før de optages af et kamera, hvilket gør det muligt for en computer – og AI – at behandle dem med minimal strøm og databåndbredde.

Metasfladen fungerer ved at konvertere et billede fra det kartesiske koordinatsystem, hvor billedpixel er arrangeret i lige rækker og kolonner langs x- og y-akserne, til det log-polære system, som bruger en bullseye-lignende pixelfordeling.

"Ligesom arrangementet af lysreceptorer inde i det menneskelige øje, tager metasoverfladen billeder og arrangerer dem i et log-polært koordinatsystem - med tættere pixels for de centrale, fokuserede funktioner og sparsommere pixels for de perifere regioner," sagde Ni. "Dette gør det muligt for de vigtigere aspekter af et billede at komme tydeligt igennem, mens andre forbliver mindre i fokus, og derved spare databåndbredde."

Metasfladen placeres foran et kamera, så lys først passerer igennem det og omdanner billedet fra det kartesiske system til log-polære koordinater, inden det digitaliseres af et kamera og overføres til en computer. Da den fungerer ved hjælp af nanostrukturer, der bøjer lyset, behøver metaoverfladen ingen strøm og arbejder med lysets hastighed.

"Da et billede af et objekt kan variere i størrelse eller orientering, er det ønskeligt at forbehandle billeder for at gøre dem modstandsdygtige over for skala- og rotationsændringer," sagde Ni. "Denne forbehandling hjælper AI-applikationer med lettere at genkende dem som det samme objekt."

Ved at placere en anden metasurface foran et kamera, kan forskere også transformere det log-polære billede tilbage til det originale billede med kartesiske koordinater.

Opfindelsen har mange potentielle anvendelser, sagde forskerne, herunder til brug i målsporing og overvågning for at kortlægge, hvordan en bil for eksempel bevæger sig hen over en by.

"En metasurface kan bruges sammen med AI-systemer som en præprocessor, hvilket gør det nemmere at genkende den samme bil fra flere street view-kameraer," sagde Ni. "Eller hvis den anvendes på en satellit, kan den potentielt spore fly fra start til landing."

Flere oplysninger: Xingwang Zhang et al., Heloptiske geometriske billedtransformationer muliggjort af ultratynde metasurfaces, Nature Communications (2023). DOI:10.1038/s41467-023-43981-x

Leveret af Pennsylvania State University