Udvikling af menneskelignende opfattelse i selvkørende køretøjer

Hvordan kan mobile robotter opfatte og forstå omgivelserne korrekt, selvom dele af miljøet er tillukket af andre objekter? Dette er et nøglespørgsmål, der skal løses, for at selvkørende køretøjer kan navigere sikkert i store overfyldte byer. Mens mennesker kan forestille sig komplette fysiske strukturer af objekter, selv når de er delvist okkluderede, har eksisterende kunstig intelligens (AI) algoritmer, der gør det muligt for robotter og selvkørende køretøjer at opfatte deres miljø, ikke denne evne.

Robotter med AI kan allerede finde rundt og navigere på egen hånd, når de har lært, hvordan deres omgivelser ser ud. Det har dog været en betydelig udfordring at opfatte hele strukturen af ​​objekter, når de er delvist skjulte, såsom mennesker i menneskemængder eller køretøjer i trafikpropper. Et stort skridt i retning af at løse dette problem er nu taget af Freiburgs robotforskere Prof. Dr. Abhinav Valada og Ph.D. studerende Rohit Mohan fra Robot Learning Lab ved University of Freiburg, som de har præsenteret i to fælles publikationer.

De to Freiburg-forskere har udviklet den amodale panoptiske segmenteringsopgave og demonstreret dens gennemførlighed ved hjælp af nye AI-tilgange. Indtil nu har selvkørende køretøjer brugt panoptisk segmentering til at forstå deres omgivelser.

Det betyder, at de indtil videre kun kan forudsige, hvilke pixels af et billede, der tilhører hvilke "synlige" områder af et objekt, såsom en person eller bil, og identificere forekomster af disse objekter. Hvad de mangler indtil videre, er at være i stand til også at forudsige hele formen af ​​genstande, selv når de er delvist okkluderet af andre genstande ved siden af ​​dem. Den nye opgave med perception med amodal panoptisk segmentering gør denne holistiske forståelse af miljøet mulig.

"Amodal" henviser til det tilfælde, at enhver delvis okklusion af objekter skal abstraheres, og i stedet for at se dem som fragmenter, bør der være en generel forståelse af at se dem som en helhed. Således vil denne forbedrede evne til visuel genkendelse føre til enorme fremskridt med hensyn til at forbedre sikkerheden for selvkørende køretøjer.

Potentiale til at revolutionere forståelsen af ​​urban visuel scene

I et nyt papir offentliggjort på IEEE/CVF Computer Vision and Pattern Recognition Conference (tilgængelig online som et fortryk), har forskerne tilføjet den nye opgave til etablerede benchmark-datasæt og gjort dem offentligt tilgængelige. De opfordrer nu videnskabsmænd til at deltage i benchmarkingen med deres egne AI-algoritmer.

Målet med denne opgave er den pixelvise semantiske segmentering af de synlige områder af amorfe baggrundsklasser såsom veje, vegetation, himmel og instanssegmenteringen af ​​både de synlige og okkluderede objektområder i tællelige klasser såsom biler, lastbiler og fodgængere.

Benchmark og datasæt er offentligt tilgængelige på hjemmesiden, herunder to foreslåede nye læringsalgoritmer. "Vi er overbeviste om, at nye AI-algoritmer til denne opgave vil gøre det muligt for robotter at efterligne den visuelle oplevelse, som mennesker har ved at opfatte komplette fysiske strukturer af objekter," forklarer Valada.

"Amodal panoptisk segmentering vil i væsentlig grad hjælpe nedstrøms automatiserede køreopgaver, hvor okklusion er en stor udfordring såsom dybdeestimering, optisk flow, objektsporing, poseestimering, bevægelsesforudsigelse osv. Med mere avancerede AI-algoritmer til denne opgave, visuel genkendelsesevne for sig selv. -køre biler kan revolutioneres. For eksempel, hvis hele strukturen af ​​trafikanter opfattes til enhver tid, uanset delvise okklusioner, kan risikoen for ulykker minimeres betydeligt."

Ved at udlede den relative dybderækkefølge af objekter i en scene kan automatiserede køretøjer desuden træffe komplekse beslutninger, såsom i hvilken retning de skal bevæge sig mod objektet for at få et klarere udsyn. For at gøre disse visioner til virkelighed, blev opgaven og dens fordele præsenteret for førende automobilindustriprofessionelle på AutoSens, som blev afholdt på Autoworld Museum i Bruxelles.

Det andet papir vises i IEEE Robotics and Automation Letters . + Udforsk yderligere

Ny metode gør det muligt for robotsyn at identificere okkluderede objekter