At sætte en filminstruktørs magt i en autonom drone

Kommercielle droneprodukter kan håndtere nogle automatiserede opgaver, men én ting, som disse systemer ikke adresserer, er at filme kunstnerisk. Et hold ledet af forskere fra Carnegie Mellon University har foreslået et komplet system til luftfoto, der lærer menneskers visuelle præferencer. Det fuldt autonome system kræver ikke scriptede scener, GPS-tags til at lokalisere mål eller tidligere kort over miljøet.

"Vi sætter en instruktørs magt ind i dronen, " sagde Rogerio Bonatti, en ph.d. studerende i CMU's Robotics Institute. "Dronen placerer sig selv for at optage de vigtigste aspekter i en scene. Den forstår selvstændigt scenens kontekst – hvor forhindringer er, hvor skuespillerne er - og det argumenterer aktivt for, hvilke synspunkter der vil gøre en mere visuelt interessant scene. Det er også grunde til at forblive sikker og ikke styrte ned."

Som et mål, "kunstnerisk interessant" er subjektivt og vanskeligt matematisk at kvantificere, så systemet blev trænet ved hjælp af en teknik kaldet deep reinforcement learning. I en brugerundersøgelse, folk så scener på en fotorealistisk simulator, der skiftede mellem frontal, tilbage, venstre og højre perspektiv. Skudskala og afstand blev også undersøgt, samt skuespillerens position på skærmen. Brugerne scorede scener baseret på, hvor visuelt tiltalende de var, og hvor kunstnerisk interessante de fandt dem.

Systemet lærte, at nogle bevægelser var mere interessante end andre. For eksempel, andre autonome droneprodukter bruger ofte et kontinuerligt backshot, fordi det giver dronen mulighed for at følge en klar, sikker vej bag skuespilleren. Men i brugerundersøgelsen, deltagere rapporterede, at et konstant backshot bliver kedeligt efter et stykke tid. De fandt også ud af, at dronen ofte skulle skifte vinkler for at skuddet forbliver interessant, men de kunne ikke skifte for ofte.

Bonatti sagde, at holdet ønskede at gøre den indlærte adfærd generaliserbar, fra træning i simulering til implementering i virkelige scenarier. Mens systemet gennemsnittet brugernes præferencer for billeder, da en skuespiller gik en smal korridor mellem bygninger, den kan anvende disse præferencer på lignende forhindringer som en skovsti ved hjælp af topografisk kortlægning.

"Fremtidigt arbejde kan udforske mange forskellige parametre eller skabe skræddersyede kunstneriske præferencer baseret på en instruktørs stil eller genre, " sagde Sebastian Scherer, en lektor i Robotics Institute.

Luftsystemet er også dygtigt til at bevare et klart overblik over skuespilleren, undgå det, der er kendt som okklusioner. "Vi var den første gruppe, der fandt på nye måder at håndtere okklusion på, som ikke kun er binære, men kan faktisk kvantificere hvor slem okklusionen er, " sagde Bonatti.

Andre innovationer omfatter effektive bevægelsesplanlæggere til at forudse aktørers baner, og et inkrementelt og effektivt kortlægningssystem af miljøet ved hjælp af LiDAR.

Dette system kan være nyttigt ud over underholdning og sport. Regeringer og politiafdelinger bruger allerede i dag manuelt fløjne droner til mange applikationer, herunder overvågning af menneskemængder og forståelse af trafikmønstre. Men manuelt at flyve droner kræver meget opmærksomhed, og en betjent kan ikke bruge deres energi på at se på scenen. "Ligesom at lære kunstneriske principper, maskinen kunne læres de skud, der er nødvendige til andre applikationer som sikkerhed, " sagde Bonatti.

"Målet med forskningen er ikke at erstatte mennesker. Vi vil stadig have et marked for højtuddannede professionelle eksperter, " sagde Bonatti. "Målet er at demokratisere drone-film og give folk mulighed for virkelig at fokusere på det, der betyder noget for dem."

Dette arbejde vil blive præsenteret på den internationale konference om intelligente robotter og systemer i 2019, og er blevet accepteret til offentliggørelse i Journal of Field Robotics .