Banebrydende optisk sensor efterligner det menneskelige øje, et vigtigt skridt mod bedre kunstig intelligens

Forskere ved Oregon State University gør vigtige fremskridt med en ny type optisk sensor, der i højere grad efterligner det menneskelige øjes evne til at opfatte ændringer i dets synsfelt.

Sensoren er et stort gennembrud for områder som billedgenkendelse, robotteknologi og kunstig intelligens. Resultater af OSU College of Engineering-forsker John Labram og kandidatstuderende Cinthya Trujillo Herrera blev offentliggjort i dag i Anvendt fysik bogstaver .

Tidligere forsøg på at bygge en enhed af typen menneskeøje, kaldet en retinomorf sensor, har været afhængig af software eller kompleks hardware, sagde Labram, adjunkt i elektroteknik og datalogi. Men den nye sensors drift er en del af dens grundlæggende design, ved hjælp af ultratynde lag af perovskit-halvledere - bredt undersøgt i de senere år for deres solenergipotentiale - der skifter fra stærke elektriske isolatorer til stærke ledere, når de placeres i lys.

"Du kan tænke på det som en enkelt pixel, der gør noget, der i øjeblikket ville kræve en mikroprocessor, sagde Labram, der leder forskningsindsatsen med støtte fra National Science Foundation.

Den nye sensor kan være et perfekt match til de neuromorfe computere, der vil drive næste generation af kunstig intelligens i applikationer som selvkørende biler, robotik og avanceret billedgenkendelse, sagde Labram. I modsætning til traditionelle computere, som behandler information sekventielt som en række instruktioner, neuromorfe computere er designet til at efterligne den menneskelige hjernes massivt parallelle netværk.

"Folk har forsøgt at replikere dette i hardware og har haft rimelig succes, " sagde Labram. "Men, selvom algoritmerne og arkitekturen designet til at behandle information mere og mere ligner en menneskelig hjerne, den information, disse systemer modtager, er stadig bestemt designet til traditionelle computere."

Med andre ord:For at nå sit fulde potentiale, en computer, der "tænker" mere som en menneskelig hjerne, har brug for en billedsensor, der "ser" mere som et menneskeligt øje.

Et spektakulært komplekst orgel, øjet indeholder omkring 100 millioner fotoreceptorer. Imidlertid, synsnerven har kun 1 million forbindelser til hjernen. Det betyder, at der skal ske en betydelig mængde forbehandling og dynamisk kompression i nethinden, før billedet kan transmitteres.

Det viser sig, vores synssans er særligt godt tilpasset til at registrere bevægelige genstande og er forholdsvis "mindre interesseret" i statiske billeder, sagde Labram. Dermed, vores optiske kredsløb prioriterer signaler fra fotoreceptorer, der registrerer en ændring i lysintensiteten – du kan selv demonstrere dette ved at stirre på et fast punkt, indtil objekter i dit perifere syn begynder at forsvinde, et fænomen kendt som Troxler-effekten.

Konventionelle sensorteknologier, ligesom de chips, der findes i digitale kameraer og smartphones, er bedre egnet til sekventiel behandling, sagde Labram. Billeder scannes på tværs af en todimensionel række sensorer, pixel for pixel, ved en fastsat frekvens. Hver sensor genererer et signal med en amplitude, der varierer direkte med intensiteten af ​​det lys, den modtager, hvilket betyder, at et statisk billede vil resultere i en mere eller mindre konstant udgangsspænding fra sensoren.

Derimod, den retinomorfe sensor forbliver relativt stille under statiske forhold. Det registrerer en kort, skarpt signal, når den registrerer en ændring i belysningen, vender derefter hurtigt tilbage til sin basistilstand. Denne adfærd skyldes de unikke fotoelektriske egenskaber af en klasse af halvledere kendt som perovskites, som har vist meget lovende som næste generation, billige solcellematerialer.

I Labrams retinomorfe sensor, perovskitten påføres i ultratynde lag, bare et par hundrede nanometer tyk, og fungerer i det væsentlige som en kondensator, der varierer sin kapacitans under belysning. En kondensator lagrer energi i et elektrisk felt.

"Måden vi tester det på er, i bund og grund, vi lader det stå i mørke et øjeblik, så tænder vi lysene og lader dem bare være tændte, sagde han. Så snart lyset tændes, du får denne store spændingspike, så falder spændingen hurtigt, selvom intensiteten af ​​lyset er konstant. Og det er det, vi vil."

Selvom Labrams laboratorium i øjeblikket kun kan teste én sensor ad gangen, hans team målte en række enheder og udviklede en numerisk model til at replikere deres adfærd, at nå frem til, hvad Labram anser for "et godt match" mellem teori og eksperiment.

Dette gjorde det muligt for holdet at simulere en række retinomorfe sensorer for at forudsige, hvordan et retinomorfisk videokamera ville reagere på inputstimulus.

"Vi kan konvertere video til et sæt lysintensiteter og derefter sætte det ind i vores simulering, "Sagde Labram." Regioner, hvor der forudsiges en højere spænding fra sensoren, lyser, mens de lavere spændingsområder forbliver mørke. Hvis kameraet er relativt statisk, du kan tydeligt se alle de ting, der bevæger sig, reagere stærkt. Dette forbliver rimeligt tro mod paradigmet for optisk sansning hos pattedyr."

En simulering ved hjælp af optagelser af en baseballøvelse demonstrerer de forventede resultater:Spillere på indebanen dukker op som tydeligt synlige, lyse bevægelige objekter. Relativt statiske objekter - baseball-diamanten, tribunen, selv udespillerne - forsvinder i mørket.

En endnu mere slående simulering viser en fugl, der flyver til syne, så næsten forsvinder, da den stopper ved en usynlig fuglefoder. Fuglen dukker op igen, da den letter. Feederen, sætter sig, bliver først synlig, når den begynder at bevæge sig.

"Det gode er, at med denne simulering, vi kan indsætte enhver video i et af disse arrays og behandle disse oplysninger i det væsentlige på samme måde som det menneskelige øje ville, " sagde Labram. "F.eks. du kan forestille dig, at disse sensorer bliver brugt af en robot, der sporer objekters bevægelse. Alt statisk i dets synsfelt ville ikke fremkalde et svar, et objekt i bevægelse vil dog registrere en højspænding. Dette ville fortælle robotten med det samme, hvor objektet var, uden kompleks billedbehandling. "