Design af maskiner, der ser, forstå og fortolke deres omgivelser

Forestil dig bare en fodgænger, der er limet til en mobiltelefonskærm, mens han krydser gaden og ikke er meget opmærksom på det røde lyskryds. En bil nærmer sig, dens chauffør føler sig måske lidt døsig på grund af mangel på søvn og kan ikke stoppe med det samme. Hvordan kan du undgå en ulykke i en sådan scene? Fra avancerede førerassistentsystemer (ADAS'er), der hjælper chauffører med at navigere i et køretøj, at søge og redde droner, til medicinsk røntgenbillede, embedded vision -teknologier bruges i stigende grad i en lang række applikationer. Disse involverer integration af computersyn i maskiner, der bruger algoritmer til at afkode mening fra at observere pixelmønstre i billeder eller video.

For at kunne tolke deres omgivelser korrekt ved hjælp af komplekse visuelle input, integrerede vision -systemer kræver masser af processorkraft. Ud over strømforbruget, designere af sådanne integrerede systemer skal overvinde andre tekniske begrænsninger såsom omkostninger, størrelse, vægt og akustisk støj. Det EU-finansierede TULIPP-projekt har taget fat på disse udfordringer og udviklet en referenceplatform til visionbaserede systemdesignere. TULIPP -løsningen hjælper "computer vision produktdesignere med let at tage fat på de kombinerede udfordringer ved lav strøm, lav latenstid, høj ydeevne og billedbehandlingsdesignbegrænsninger i realtid, "som det fremgår af en pressemeddelelse.

Sager i den virkelige verden

TULIPP-referenceplatformen består af et komplet udviklingssæt og brugssager i den virkelige verden. Sættet indeholder "en FPGA-baseret indlejret, multicore computing board, parallelt realtidsoperativsystem og udviklingsværktøjskæde med retningslinjer, "ifølge samme pressemeddelelse. Feltprogrammerbar gate array (FPGA) refererer til et integreret kredsløb, der kan programmeres eller omprogrammeres til den nødvendige funktionalitet eller applikation efter fremstilling. Anvendelsessagerne dækker" medicinsk røntgenbillede, automotive Advanced Driver Assistance Systems (ADAS) og ubemandede luftfartøjer (UAV'er). "

Den medicinske røntgenbilledapplikation er rettet mod at forbedre kirurgisk effektivitet med den mobile C-arm brugssag. Denne enhed viser et internt billede af en patients krop i realtid i løbet af en kirurgisk operation, tillader lægen at foretage minimale snit med større nøjagtighed. Dette fører til hurtigere restitutionstider og "sænker risici for nosokomielle sygdomme og reducerer med 75 % de strålingsdoser, som patienter og personale udsættes for, "tilføjer pressemeddelelsen. Gennem sin applikation til registrering af fodgængere, ADAS use case "opnår en behandlingstid pr. ramme på 66 ms, hvilket betyder, at algoritmen når målet om at køre på hvert andet billede, når kameraet kører ved 30Hz. "

I brugstilfælde af UAV, TULIPP estimerer dybdebilleder fra et stereokameraopsætning, der er orienteret i flyveretningen. "Selvom vi taler om autonome droner, de fleste nuværende systemer er stadig fjernstyret af mennesker. Brugssagen bruger forskellige kort, som beregnes ud fra kamerabillederne, at lokalisere forhindringer i flyvebanen og automatisk styre UAV'en omkring dem. Dette er den nødvendige nøgle mod fuldt autonome droner. "

Det 3-årige TULIPP (Towards Ubiquitous Low-power Image Processing Platforms) projekt sluttede i januar 2019. Det fokuserede på at udvikle højtydende, energieffektive integrerede systemer til den voksende variation af gradvist komplekse billedbehandlingsapplikationer, der dukker op i en lang række industrisektorer.