Visuel semantik muliggør højtydende stedgenkendelse fra modsatte synspunkter

QUT -forskere har udviklet en ny måde for robotter at se verden fra et mere menneskeligt perspektiv, som har potentiale til at forbedre hvordan teknologi, såsom førerløse biler og industrielle og mobile robotter, fungerer og interagerer med mennesker.

I det, der menes at være en verden først, Ph.d. studerende Sourav Garg, Dr. Niko Suenderhauf og professor Michael Milford fra QUT's Science and Engineering Faculty og Australian Center for Robotic Vision, har brugt visuel semantik til at muliggøre højtydende stedgenkendelse fra modsatte synspunkter.

Garg sagde, mens mennesker havde en bemærkelsesværdig evne til at genkende et sted, når de kom tilbage til det fra den modsatte retning, herunder under omstændigheder, hvor der er ekstreme variationer i dens udseende, opgaven havde givet udfordringer for robotter og autonome køretøjer.

"For eksempel, hvis en person kører ned ad en vej, og de svinger en u-sving og går tilbage ad den samme vej, i den modsatte retning, de har evnen til at vide, hvor de er, baseret på den tidligere erfaring, fordi de genkender vigtige aspekter af miljøet. Folk kan også gøre det, hvis de rejser ad den samme vej om natten, og så igen i løbet af dagen, eller i forskellige sæsoner, Sagde hr. Garg.

"Desværre, det er ikke så ligetil for robotter. Nuværende konstruerede løsninger, som dem, der bruges af førerløse biler, i høj grad stole på panoramakameraer eller 360 graders lysregistrering og -afstand (LIDAR) sensing. Selvom dette er effektivt, det er meget forskelligt fra, hvordan mennesker naturligt navigerer.

Professor Michael Milford sagde, at det system, der blev foreslået af QUT-teamet af forskere, brugte et state-of-the-art semantisk segmenteringsnetværk, kaldet RefineNet, uddannet på Cityscapes Dataset, at danne en Local Semantic Tensor (LoST) beskrivelse af billeder. Dette blev derefter brugt til at udføre stedgenkendelse sammen med yderligere robotic vision -teknikker baseret på kontrol af rumlig layoutskontrol og vægtet tastaturmatchning.

"Vi ville replikere den proces, der blev brugt af mennesker. Visuel semantik fungerer ved ikke bare at fornemme, men at forstå, hvor nøgleobjekter er i miljøet, og dette giver mulighed for større forudsigelighed i de handlinger, der følger, "Sagde professor Milford.

"Vores tilgang gør det muligt for os at matche steder fra modsatrettede synspunkter med lidt fælles visuelt overlap og på tværs af dag-nat-cykler. Vi udvider nu dette arbejde til at håndtere både modsatte synspunkter og laterale synspunkter, der opstår, for eksempel, når et køretøj skifter spor. Dette tilføjer en ekstra sværhedsgrad. "

Forskerteamets papir er blevet accepteret til offentliggørelse i Robotik:Videnskab og systemer , den mest selektive internationale robotkonference, som afholdes på Carnegie Mellon University i Pittsburgh denne måned.