Hjælper autonome køretøjer med at se rundt om hjørner

For at forbedre sikkerheden ved autonome systemer, MIT -ingeniører har udviklet et system, der kan fornemme små ændringer i skygger på jorden for at afgøre, om der kommer et objekt i bevægelse rundt om hjørnet.

Autonome biler kunne en dag bruge systemet til hurtigt at undgå en mulig kollision med en anden bil eller fodgænger, der dukker op rundt om en bygnings hjørne eller mellem parkerede biler. I fremtiden, robotter, der kan navigere på hospitalsgange for at lave medicin eller levere leveringer, kunne bruge systemet til at undgå at ramme folk.

I et papir, der blev præsenteret på næste uges internationale konference om intelligente robotter og systemer (IROS), forskerne beskriver vellykkede forsøg med en autonom bil, der kører rundt i et parkeringshus og en autonom kørestol, der navigerer i gange. Når du registrerer og stopper for et køretøj, der nærmer sig, det bilbaserede system slår traditionel LiDAR-som kun kan registrere synlige objekter-med mere end et halvt sekund.

Det virker måske ikke så meget, men brøkdele af en anden sag, når det kommer til hurtiggående selvkørende køretøjer, siger forskerne.

"Til applikationer, hvor robotter bevæger sig rundt i miljøer med andre bevægelige objekter eller mennesker, vores metode kan give robotten en tidlig advarsel om, at der kommer nogen rundt om hjørnet, så køretøjet kan bremse, tilpasse sin vej, og forbered dig på forhånd for at undgå en kollision, " tilføjer medforfatter Daniela Rus, direktør for datalogi og kunstig intelligenslaboratorium (CSAIL) og Andrew og Erna Viterbi professor i elektroteknik og datalogi. "Den store drøm er at give køretøjer, der kører hurtigt på gaden, en slags" røntgenvision ".

I øjeblikket, systemet er kun testet indendørs. Robothastighederne er meget lavere indendørs, og lysforholdene er mere konsekvente, gør det nemmere for systemet at sanse og analysere skygger.

Tilsluttede Rus på papiret er:første forfatter Felix Naser SM '19, en tidligere CSAIL -forsker; Alexander Amini, en CSAIL -kandidatstuderende; Igor Gilitschenski, en CSAIL postdoc; nyuddannet Christina Liao '19; Guy Rosman fra Toyota Research Institute; og Sertac Karaman, lektor i luftfart og astronautik ved MIT.

Udvidelse af ShadowCam

For deres arbejde, forskerne byggede på deres system, kaldet "ShadowCam, ", der bruger computervisionsteknikker til at detektere og klassificere ændringer i skygger på jorden. MIT-professorerne William Freeman og Antonio Torralba, der ikke er medforfattere på IROS-papiret, samarbejdede om de tidligere versioner af systemet, som blev præsenteret på konferencer i 2017 og 2018.

For input, ShadowCam bruger sekvenser af videorammer fra et kamera målrettet mod et bestemt område, såsom gulvet foran et hjørne. Det registrerer ændringer i lysintensitet over tid, fra billede til billede, som kan tyde på, at noget flytter sig eller kommer tættere på. Nogle af disse ændringer kan være svære at opdage eller usynlige for det blotte øje, og kan bestemmes af forskellige egenskaber ved objektet og miljøet. ShadowCam beregner denne information og klassificerer hvert billede som indeholdende et stationært objekt eller en dynamisk, flytte en. Hvis det får et dynamisk billede, den reagerer derefter.

Tilpasning af ShadowCam til autonome køretøjer krævede et par fremskridt. Den tidlige version, for eksempel, stolede på at beklæde et område med augmented reality-etiketter kaldet "AprilTags, "der ligner forenklede QR-koder. Robotter scanner AprilTags for at opdage og beregne deres præcise 3D-position og orientering i forhold til mærket. ShadowCam brugte mærkerne som miljøets funktioner til at nulstille bestemte pletter af pixels, der kan indeholde skygger. Men at ændre virkelige miljøer med AprilTags er ikke praktisk.

Forskerne udviklede en ny proces, der kombinerer billedregistrering og en ny visuel-odometrisk teknik. Ofte brugt i computersyn, billedregistrering overlapper i det væsentlige flere billeder for at afsløre variationer i billederne. Medicinsk billedregistrering, for eksempel, overlapper medicinske scanninger for at sammenligne og analysere anatomiske forskelle.

Visuel kilometertæller, bruges til Mars Rovers, estimerer bevægelsen af ​​et kamera i realtid ved at analysere pose og geometri i billedsekvenser. Forskerne anvender specifikt "Direct Sparse Odometry" (DSO), som kan beregne funktionspunkter i miljøer, der ligner dem, der fanges af AprilTags. I det væsentlige, DSO tegner funktioner i et miljø på en 3D-punktsky, og derefter vælger en computer-vision pipeline kun de funktioner, der er placeret i et område af interesse, såsom gulvet nær et hjørne. (Interesseområder blev annoteret på forhånd på forhånd).

Da ShadowCam tager input -billedsekvenser i et område af interesse, den bruger DSO-billedregistreringsmetoden til at overlejre alle billeder fra samme synspunkt af robotten. Selv når en robot bevæger sig, det er i stand til at nulstille nøjagtigt den samme patch af pixels, hvor en skygge er placeret for at hjælpe det med at opdage eventuelle subtile afvigelser mellem billeder.

Det næste er signalforstærkning, en teknik introduceret i det første papir. Pixels, der kan indeholde skygger, får et boost i farve, der reducerer signal-støj-forholdet. Dette gør ekstremt svage signaler fra skyggeændringer langt mere synlige. Hvis det forstærkede signal når en bestemt tærskel - delvist baseret på hvor meget det afviger fra andre nærliggende skygger - klassificerer ShadowCam billedet som "dynamisk". Afhængigt af signalets styrke, systemet kan bede robotten om at sætte farten ned eller stoppe.

"Ved at registrere det signal, så kan du være forsigtig. Det kan være en skygge af en person, der løber bag hjørnet eller en parkeret bil, så den autonome bil kan sænke farten eller stoppe helt, "Siger Naser.

Tag-fri test

I en test, forskerne evaluerede systemets ydeevne ved klassificering af bevægelige eller stationære objekter ved hjælp af AprilTags og den nye DSO-baserede metode. En autonom kørestol styrede mod forskellige ganghjørner, mens mennesker drejede hjørnet ind i kørestolens vej. Begge metoder opnåede den samme 70-procent klassificeringsnøjagtighed, angiver AprilTags er ikke længere nødvendige.

I en separat test, forskerne implementerede ShadowCam i en autonom bil i en parkeringshus, hvor forlygterne var slukket, efterligner kørselsforhold om natten. De sammenlignede bilsøgningstider i forhold til LiDAR. I et eksempel scenario, ShadowCam registrerede, at bilen drejede rundt om søjler omkring 0,72 sekunder hurtigere end LiDAR. I øvrigt, fordi forskerne specifikt havde indstillet ShadowCam på garageens lysforhold, systemet opnåede en klassificeringsnøjagtighed på omkring 86 procent.

Næste, forskerne videreudvikler systemet til at fungere under forskellige indendørs og udendørs lysforhold. I fremtiden, der kan også være måder at fremskynde systemets skyggedetektering og automatisere processen med at kommentere målrettede områder til skyggeopfattelse.

Denne historie er genudgivet med tilladelse fra MIT News (web.mit.edu/newsoffice/), et populært websted, der dækker nyheder om MIT-forskning, innovation og undervisning.