En silicium billedsensor, der beregner

Som enhver chauffør ved, kan ulykker ske på et øjeblik - så når det kommer til kamerasystemet i autonome køretøjer, er behandlingstiden kritisk. Den tid, det tager for systemet at tage et billede og levere data til mikroprocessoren til billedbehandling, kan betyde forskellen mellem at undgå en forhindring eller at komme ud for en større ulykke.

In-sensor billedbehandling, hvor vigtige funktioner udvindes fra rå data af billedsensoren selv i stedet for den separate mikroprocessor, kan fremskynde den visuelle behandling. Til dato har demonstrationer af in-sensor-behandling været begrænset til nye forskningsmaterialer, som i det mindste for nu er vanskelige at inkorporere i kommercielle systemer.

Nu har forskere fra Harvard John A. Paulson School of Engineering and Applied Sciences (SEAS) udviklet den første in-sensor processor, der kunne integreres i kommercielle silicium billeddannelsessensorchips – kendt som komplementær metal-oxid-halvleder (CMOS) billedsensorer – der bruges i næsten alle kommercielle enheder, der skal fange visuel information, inklusive smartphones.

Forskningen er publiceret i Nature Electronics .

"Vores arbejde kan udnytte den almindelige halvlederelektronikindustri til hurtigt at bringe in-sensor computing til en bred vifte af applikationer i den virkelige verden," sagde Donhee Ham, Gordon McKay professor i elektroteknik og anvendt fysik ved SEAS og seniorforfatter af papiret .

Ham og hans team udviklede et siliciumfotodiodearray. Kommercielt tilgængelige billedregistreringschips har også en siliciumfotodiode-array til at tage billeder, men holdets fotodioder er elektrostatisk dopede, hvilket betyder, at individuelle fotodioders eller pixels følsomhed over for indkommende lys kan indstilles af spændinger. Et array, der forbinder flere spændingsjusterbare fotodioder sammen, kan udføre en analog version af multiplikations- og additionsoperationer, der er centrale for mange billedbehandlingspipelines, og udtrække den relevante visuelle information, så snart billedet er taget.

"Disse dynamiske fotodioder kan samtidig filtrere billeder, efterhånden som de optages, hvilket gør det muligt at flytte den første fase af synsbehandlingen fra mikroprocessoren til selve sensoren," siger Houk Jang, en postdoc ved SEAS og førsteforfatter af papiret.

Silicium fotodiode array kan programmeres til forskellige billedfiltre for at fjerne unødvendige detaljer eller støj til forskellige applikationer. Et billeddannelsessystem i et selvkørende køretøj kan for eksempel kræve et højpasfilter til at spore vognbanemarkeringer, mens andre applikationer kan kræve et filter, der sløres for støjreduktion.

"Når vi ser fremad, forudser vi brugen af ​​denne silicium-baserede in-sensor-processor ikke kun i machine vision-applikationer, men også i bio-inspirerede applikationer, hvor tidlig informationsbehandling giver mulighed for samplacering af sensor- og computerenheder, som f. hjernen," sagde Henry Hinton, en kandidatstuderende ved SEAS og medførsteforfatter af papiret.

Dernæst sigter teamet mod at øge tætheden af ​​fotodioder og integrere dem med integrerede siliciumkredsløb.

"Ved at erstatte de standard ikke-programmerbare pixels i kommercielle silicium billedsensorer med de programmerbare, der er udviklet her, kan billedbehandlingsenheder på intelligent vis trimme unødvendige data og dermed gøres mere effektive i både energi og båndbredde for at imødekomme kravene fra den næste generation af sensoriske applikationer," sagde Jang. + Udforsk yderligere

Forskere designer meget følsomme, masseproducerbare organiske fotodetektorer