In-sensor computing for at fremskynde maskinsyn

Ved at anvende in-sensor computing af analoge data, et team af forskere ved Wiens teknologiske universitets Institut for fotonik har udviklet en måde at fremskynde maskinsyn. I deres papir offentliggjort i tidsskriftet Natur , gruppen beskriver deres design og hvor godt det klarede sig under test. Yang Chai med Hong Kong Polytechnic University har udgivet et nyheder og synspunkter i samme tidsskriftsudgave, der beskriver holdets arbejde.

Med den nuværende teknologi, maskinsyn udføres ved hjælp af et grundlæggende system, der involverer en enhed med en billedsensor, der reagerer på lys. Data fra billedsensoren konverteres fra et analogt til et digitalt signal med en anden enhed. De digitale data behandles derefter af endnu en enhed, enten lokalt eller i skyen. Dette system fungerer rimeligt godt til nuværende applikationer, men vil ikke være egnet til dem i fremtiden på grund af forsinkelsen involveret i læsning og behandling af enorme mængder billeddata. I denne nye indsats, forskerne har foreslået en ny type billedsensor, der i begrænset omfang kan behandle analoge data.

Billedsensoren, som teamet i Østrig forestiller sig, består af at indlejre trioer af fotodioder på en chip på en måde, der gør det muligt at øge eller mindske deres følsomhed over for lys ved hjælp af en påført spænding, et setup, der gør det muligt for hver diode at blive individuelt indstillet eller vægtet. I en sådan opsætning, dioderne virker på samme måde som nerver i det menneskelige øje. Når billeder præsenteres for enheden, alle dioderne reagerer baseret på deres tuning - sammen, de fungerer som en netværksvisionsprocessor. Når der kommer lys til sensoren, den behandles ved at tilføje lysintensiteten fra hver af de kolonner og rækker, der udgør sensorarrayet. Arrayet af dioder trænes derefter til en opgave ved at justere hvert medlem individuelt baseret på et ønsket resultat. Den indledende læringsfase tager lidt tid, men når netværket er blevet trænet, behandling sker med en hastighed svarende til fotodiodernes reaktionstid.

Den enhed, som forskerne forestillede sig, var ikke beregnet til at producere billeder. I stedet, den filtrerer unødvendige data fra og udfører en indledende sortering. For at teste det, forskerne lærte deres enhed at sortere tre forenklede bogstaver. De brugte det også til at lave nogle meget grundlæggende auto-encoding baseret på nøglefunktioner i et givet billede. De bemærker, at deres design og enhed stadig er i proof-of-concept-stadiet, men siger, at deres resultater indtil videre er opmuntrende.

© 2020 Science X Network