Forskere udvikler virtual reality-testplads for droner

Træner droner til at flyve hurtigt, omkring selv de simpleste forhindringer, er en kollisionsudsat øvelse, der kan få ingeniører til at reparere eller udskifte køretøjer med frustrerende regelmæssighed.

Nu har MIT-ingeniører udviklet et nyt virtual reality-træningssystem til droner, der gør det muligt for et køretøj at "se" en rig, virtuelt miljø, mens du flyver i et tomt fysisk rum.

Systemet, som holdet har døbt "Flight Goggles, " kunne reducere antallet af styrt, som droner oplever i egentlige træningssessioner markant. Det kan også tjene som en virtuel testbed for et vilkårligt antal miljøer og forhold, hvor forskere måtte ønske at træne hurtigt flyvende droner.

"Vi mener, at dette er en game-changer i udviklingen af ​​droneteknologi, for droner, der går hurtigt, " siger Sertac Karaman, lektor i luftfart og astronautik ved MIT. "Hvis noget, systemet kan gøre autonome køretøjer mere lydhøre, hurtigere, og mere effektiv."

Karaman og hans kolleger vil præsentere detaljer om deres virtuelle træningssystem på IEEE International Conference on Robotics and Automation i næste uge. Medforfattere inkluderer Thomas Sayre-McCord, Vinter Guerra, Amado Antonini, Jasper Arneberg, Austin Brown, Guilherme Cavalheiro, Dave McCoy, Sebastian Quilter, Fabian Riether, Ezra Tal, Yunus Terzioglu, og Luca Carlone fra MIT's Laboratory for Information and Decision Systems, sammen med Yajun Fang fra MIT's Computer Science and Artificial Intelligence Laboratory, og Alex Gorodetsky fra Sandia National Laboratories.

At rykke grænser

Karaman var oprindeligt motiveret af en ny, ekstrem robo-sport:konkurrencedygtige drone racing, hvor fjernstyrede droner, drevet af menneskelige spillere, forsøg på at flyve hinanden gennem en indviklet labyrint af vinduer, døre, og andre forhindringer. Karaman undrede sig:Kunne en autonom drone trænes til at flyve lige så hurtigt, hvis ikke hurtigere, end disse menneskekontrollerede køretøjer, med endnu bedre præcision og kontrol?

"I de næste to eller tre år, vi ønsker at deltage i en drone racing konkurrence med en autonom drone, og slog den bedste menneskelige spiller, " siger Karaman. For at gøre det, holdet skulle udvikle en helt ny træningsplan.

I øjeblikket, at træne autonome droner er en fysisk opgave:Forskere flyver droner i store, lukkede prøvepladser, hvori de ofte hænger store net for at fange eventuelle plejende køretøjer. De sætter også rekvisitter op, såsom vinduer og døre, hvorigennem en drone kan lære at flyve. Når køretøjer styrter, de skal repareres eller udskiftes, som forsinker udviklingen og øger et projekts omkostninger.

Karaman siger, at test af droner på denne måde kan fungere for køretøjer, der ikke er beregnet til at flyve hurtigt, såsom droner, der er programmeret til langsomt at kortlægge deres omgivelser. Men for hurtigt flyvende køretøjer, der skal behandle visuel information hurtigt, når de flyver gennem et miljø, et nyt træningssystem er nødvendigt.

"I det øjeblik du vil lave high-throughput computing og gå hurtigt, selv de mindste ændringer, du foretager i omgivelserne, vil få dronen til at styrte ned, " siger Karaman. "Du kan ikke lære i det miljø. Hvis du vil flytte grænser for, hvor hurtigt du kan gå og beregne, du har brug for en slags virtual reality-miljø."

Flyvebriller

Holdets nye virtuelle træningssystem omfatter et motion capture-system, et billedgengivelsesprogram, og elektronik, der gør holdet i stand til hurtigt at behandle billeder og overføre dem til dronen.

Selve testrummet - et hangarlignende gymnastiksal i MITs nye drone-testanlæg i bygning 31 - er foret med motion-capture-kameraer, der sporer orienteringen af ​​dronen, mens den flyver.

Med billedgengivelsessystemet, Karaman og hans kolleger kan tegne fotorealistiske scener, såsom en loftslejlighed eller en stue, og send disse virtuelle billeder til dronen, mens den flyver gennem det tomme anlæg.

"Dronen vil flyve i et tomt rum, men vil "hallucinere" et helt andet miljø, og vil lære i det miljø, " forklarer Karaman.

De virtuelle billeder kan behandles af dronen med en hastighed på omkring 90 billeder i sekundet - omkring tre gange så hurtigt, som det menneskelige øje kan se og behandle billeder. For at aktivere dette, teamet specialbyggede printkort, der integrerer en kraftfuld indlejret supercomputer, sammen med en inertimåleenhed og et kamera. De passer al denne hardware ind i en lille, 3-D-printet nylon og kulfiberforstærket droneramme.

Et lynkursus

Forskerne udførte et sæt eksperimenter, inklusive en, hvor dronen lærte at flyve gennem et virtuelt vindue omkring det dobbelte af dets størrelse. Vinduet var sat i en virtuel stue. Mens dronen fløj i virkeligheden, tom testfacilitet, forskerne strålede billeder af stuen, fra dronens perspektiv, tilbage til køretøjet. Da dronen fløj gennem dette virtuelle rum, forskerne tunede en navigationsalgoritme, gør det muligt for dronen at lære på farten.

Over 10 flyvninger, dronen, flyver med omkring 2,3 meter i sekundet (5 miles i timen), fløj med succes gennem det virtuelle vindue 361 gange, kun "kraser" ind i vinduet tre gange, i henhold til positioneringsoplysninger fra anlæggets motion-capture-kameraer. Karaman påpeger, at selvom dronen styrtede ned tusindvis af gange, det ville ikke have stor indflydelse på omkostningerne eller udviklingstiden, da det styrter ned i et virtuelt miljø og ikke får nogen fysisk kontakt med den virkelige verden.

I en afsluttende test, holdet oprettede et egentligt vindue i testfaciliteten, og tændte for dronens indbyggede kamera for at gøre det muligt for den at se og behandle sine faktiske omgivelser. Ved at bruge navigationsalgoritmen, som forskerne tunede i det virtuelle system, dronen, over otte flyvninger, var i stand til at flyve gennem det rigtige vindue 119 gange, kun styrter ned eller kræver menneskelig indgriben seks gange.

"Det gør det samme i virkeligheden, " siger Karaman. "Det er noget, vi har programmeret det til at gøre i det virtuelle miljø, ved at lave fejl, falde fra hinanden, og læring. Men vi knuste ikke nogle egentlige vinduer i denne proces."

Han siger, at det virtuelle træningssystem er meget formbart. For eksempel, forskere kan bruge deres egne scener eller layouts til at træne droner, herunder detaljerede, drone-kortlagte kopier af faktiske bygninger - noget holdet overvejer at gøre med MIT's Stata Center. Træningssystemet kan også bruges til at teste nye sensorer, eller specifikationer for eksisterende sensorer, for at se, hvordan de kan klare sig på en hurtigt flyvende drone.

"Vi kunne prøve forskellige specifikationer i dette virtuelle miljø og sige, 'Hvis du bygger en sensor med disse specifikationer, hvordan ville det hjælpe en drone i dette miljø?'' siger Karaman.

Systemet kan også bruges til at træne droner til at flyve sikkert rundt om mennesker. For eksempel, Karaman forestiller sig at dele selve testanlægget i to, med en drone flyvende i den ene halvdel, mens et menneske, iført et motion-capture jakkesæt, går i den anden halvdel. Dronen ville "se" mennesket i virtual reality, mens det flyver rundt i sit eget rum. Hvis det støder ind i personen, resultatet er virtuelt, og harmløse.

"En dag, når du er virkelig sikker, du kan gøre det i virkeligheden, og få en drone til at flyve rundt om en person, mens de løber, på en sikker måde, " siger Karaman. "Der er mange tankevækkende eksperimenter, du kan lave i hele denne virtual reality-ting. Over tid, vi vil vise alle de ting, du kan gøre."

Denne historie er genudgivet med tilladelse fra MIT News (web.mit.edu/newsoffice/), et populært websted, der dækker nyheder om MIT-forskning, innovation og undervisning.