Forskere bruger AI til at tilføje 4-D-effekter til film

James Camerons 3D-film Avatar søgte at revolutionere den filmoplevende oplevelse, da den første gang blev udgivet i 2009, skabe en fordybende verden for seerne. Men hvad nu hvis du også ville mærke varmen og vinden, mens du flyver på en banshee, direkte fra din biografsæde?

Mens der allerede findes et lille antal såkaldte "4-D" -film, der tilføjer et fysisk element, forskere fra University of Toronto arbejder på en måde at anvende funktionen mere bredt.

"Normalt vil stolen ryste, der kan være sprøjt eller anden form for interaktion, mens du ser filmen, "siger Yuhao Zhou, en fjerdeårs bachelor i Edward S. Rogers Sr.-afdelingen for el- og computerteknik, af den nye underholdning. "Lige nu er alle disse effekter skabt fra den første produktionsfase. Vi vil gerne automatisere denne form for proces for film, der ikke oprindeligt blev skabt til 4-D biografer."

Zhou arbejder med Makarand Tapaswi, en U of T postdoktor i datalogi, og Sanja Fidler, en assisterende professor ved U i T Mississaugas afdeling for matematiske og beregningsvidenskabelige og tri-campus kandidatafdeling i datalogi. De havde for nylig deres arbejde, Nu ryster du mig:Mod automatisk 4-D-biograf, med i en spotlight -præsentation på Computer Vision and Pattern Recognition (CVPR) -konferencen i Salt Lake City, Utah.

Zhou siger, at en 4-D film normalt opfattes fra førstepersons synspunkt, eller kamera. Hvis Will Turner i Pirates of the Caribbean føler vinden blæse i ansigtet, og filmgængeren vil opleve at være Turner, så de, også, skulle opleve vind i ansigtet.

"Vi vil have en funktion, hvor du bare kan vende en switch og opleve, hvad tegnene føler, "Siger Zhou.

For at tage en almindelig eller 3D-film til 4-D, forskerne brugte et freelance-websted til at kommentere filmens effekter til deres 4-D forudsigelsesmodel.

"For eksempel, [i Ringenes Herre:Ringens fællesskab] Frodo trækker Sam op af vandet, men der sker flere effekter samtidigt, "siger Zhou, der begyndte at arbejde med Fidler i løbet af sit tredje års bachelorstudier. "Først, han trækker ham - der er en fysisk interaktion med hånden. Da Sam går ned i vandet igen, han trækker Frodo, og båden ryster.

"Kameraet er dit input, "tilføjer Tapaswi." Men i dette tilfælde vil du ikke kun opleve, hvad kameraet ser, men også en af ​​karaktererne - genoplev hvordan karaktererne følte sig rystende og så videre. "

Mens 4-D-teknologi stadig er uden for rækkevidden af ​​fysiske interaktioner-det vil sige, en hånd, der trækker - Tapaswi forestiller sig tryksensorer for at simulere berøring, efterhånden som teknologien skrider frem. Modellen kan vise sig nyttig på andre områder såsom virtual reality eller augmented reality.

"Vi indsamler denne form for kommentarer til fremtidige undersøgelser, "Siger Zhou.

For deres datasæt, de anvendte både effektklassificering og detektion. For effektklassificering, Zhou siger deres neurale netværk, en funktion af maskinlæring, der tillader dyb analyse og indlæring af data, ekstraherede funktioner fra et kort klip, herunder bevægelse og lyd. Til påvisning, han siger, det neurale net kan forudsige, hvad virkningerne er, og hvor de forekommer, i et langt videoklip.

"Du vil ikke kun vide, hvad der sker med en karakter i et bestemt skud. Du vil gerne kunne sige, '[effekten] er vind nu, ikke kun fordi jeg ser vinden lige nu, men [fordi] det sandsynligvis var blæsende før, '"Siger Tapaswi.

Forskerne fandt, at visse genrer af film havde en tendens til at dele lignende effekter - f.eks. film, der spiller i rummet som Interstellar eller Gravity. Dette kan ses som en ny måde at klynge sig på, siger Tapaswi.

"Normalt med 3D-film, filmgængere bruger briller og sidder i en stol, "siger Zhou." Med automatisk 4-D biograf, det neurale netværk ville behandle 2-D og 3-D filminformation, fodre den i stolen, og simulere effekterne. "