3D bevægelsessporingssystem kunne strømline synet for autonom teknologi

En ny realtid, 3D bevægelsessporingssystem udviklet ved University of Michigan kombinerer gennemsigtige lysdetektorer med avancerede neurale netværksmetoder for at skabe et system, der en dag kan erstatte LiDAR og kameraer i autonome teknologier.

Mens teknologien stadig er i sin vorden, fremtidige applikationer inkluderer automatiseret fremstilling, biomedicinsk billeddannelse og autonom kørsel. Et papir om systemet er offentliggjort i Naturkommunikation.

Billedsystemet udnytter fordelene ved gennemsigtig, nanoskala, meget følsomme grafen fotodetektorer udviklet af Zhaohui Zhong, U-M lektor i elektro- og computerteknik, og hans gruppe. De menes at være de første af deres slags.

"Den dybtgående kombination af grafen nanoenheder og maskinlæringsalgoritmer kan føre til fascinerende muligheder inden for både videnskab og teknologi, " sagde Dehui Zhang, en doktorand i el- og computerteknik. "Vores system kombinerer beregningseffektivitet, hurtig sporingshastighed, kompakt hardware og en lavere pris sammenlignet med flere andre løsninger."

Grafen-fotodetektorerne i dette arbejde er blevet tilpasset til kun at absorbere omkring 10% af det lys, de udsættes for, gør dem næsten gennemsigtige. Fordi grafen er så følsomt over for lys, dette er tilstrækkeligt til at generere billeder, der kan rekonstrueres ved hjælp af computational billeddannelse. Fotodetektorerne er stablet bag hinanden, resulterer i et kompakt system, og hvert lag fokuserer på et andet fokusplan, som muliggør 3D-billeddannelse.

Men 3D-billeddannelse er kun begyndelsen. Holdet tacklede også bevægelsessporing i realtid, hvilket er afgørende for en bred vifte af autonome robotapplikationer. At gøre dette, de havde brug for en måde at bestemme positionen og orienteringen af ​​et objekt, der blev sporet. Typiske tilgange involverer LiDAR-systemer og lysfeltkameraer, som begge lider af betydelige begrænsninger, siger forskerne. Andre bruger metamaterialer eller flere kameraer. Hardware alene var ikke nok til at producere de ønskede resultater.

De havde også brug for dyb læringsalgoritmer. Zhen Xu hjalp med at bygge bro mellem de to verdener, en doktorand i el- og computerteknik. Han byggede den optiske opsætning og arbejdede sammen med teamet for at gøre det muligt for et neuralt netværk at dechifrere positionsinformationen.

Det neurale netværk er trænet til at søge efter specifikke objekter i hele scenen, og derefter kun fokusere på objektet af interesse - f.eks. en fodgænger i trafikken, eller en genstand, der bevæger sig ind i din vognbane på en motorvej. Teknologien fungerer særligt godt til stabile systemer, såsom automatiseret fremstilling, eller projicere menneskelige kropsstrukturer i 3D for det medicinske samfund.

"Det tager tid at træne dit neurale netværk, " sagde projektleder Ted Norris, professor i elektro- og computerteknik. "Men når det er gjort, Det er gjort. Så når et kamera ser en bestemt scene, det kan give et svar på millisekunder."

Doktorand Zhengyu Huang ledede algoritmedesignet til det neurale netværk. Den type algoritmer, holdet udviklede, er i modsætning til traditionelle signalbehandlingsalgoritmer, der bruges til langvarige billedteknologier såsom røntgen og MR. Og det er spændende for teamets medleder Jeffrey Fessler, professor i elektro- og computerteknik, som er specialiseret i medicinsk billeddiagnostik.

"I mine 30 år i Michigan, dette er det første projekt, jeg har været involveret i, hvor teknologien er i sin vorden, " sagde Fessler. "Vi er langt fra noget, du kommer til at købe hos Best Buy, men det er okay. Det er noget af det, der gør det her spændende."

Holdet demonstrerede succes med at spore en lysstråle, samt en egentlig mariehøne med en stak af to 4x4 (16 pixel) grafen-fotodetektor-arrays. De beviste også, at deres teknik er skalerbar. De tror, ​​det ville tage så få som 4, 000 pixels til nogle praktiske applikationer, og 400x600 pixel arrays for mange flere.

Mens teknologien kan bruges med andre materialer, yderligere fordele ved grafen er, at det ikke kræver kunstig belysning, og det er miljøvenligt. Det vil være en udfordring at bygge den produktionsinfrastruktur, der er nødvendig for masseproduktion, men det kan være det værd, siger forskerne.

"Graphene er nu, hvad silicium var i 1960, " sagde Norris. "Når vi fortsætter med at udvikle denne teknologi, det kunne motivere den form for investering, der ville være nødvendig for kommercialisering."

Artiklen har titlen "Neural Network Based 3D Tracking with a Graphene Transparent Focal Stack Imaging System."