Facial motion capture hjælper med at bringe VR -dokumentar til live

KAMERA, University of Baths forskningscenter for motion capture, har samarbejdet med Aardmans Interactive -arm om en BBC virtual reality -dokumentar om historien om tvillingsøstre, hvis liv blev revet fra hinanden af ​​en frygtelig ulykke.

VR -dokumentaren, kaldet "Er Anna OK?" giver beskueren mulighed for at træde i skoene til Anna og hendes søster Lauren for at opdage, hvordan deres liv ændres, efter at Anna får en hovedskade af at blive påkørt af en bil.

Seere kan opleve dokumentaren fra flere synsvinkler, udforske Annas fragmenterede erindringer og sammensætte historien om det, der skete, og følge Annas rehabiliteringsrejse.

Forskere på CAMERA arbejdede tæt sammen med teamet på Aardman ved hjælp af motion capture -teknologi for at gøre karakterernes bevægelse mere realistisk. I særdeleshed, de brugte de nyeste forskningsmetoder inden for ansigtsanimation til at analysere 3D-bevægelsen i skuespillerens ansigt og overføre det til ansigtet på den animerede karakter.

Professor Darren Cosker, Direktør for CAMERA, ledet forskningen. Han forklarede:"En skuespiller spillede rollerne i begge identiske tvillinger til dokumentaren.

"Vi udførte en 3D-scanning af skuespillerens ansigt og byggede en animeret model ud fra dette. Vi brugte derefter en blanding af forskellige forskningsmetoder til at analysere de fine bevægelser i skuespillerens ansigt, såsom hendes smil og øjenbrynbevægelser.

"Hver bevægelse i skuespillerens ansigt blev tildelt værdier, som derefter blev overført til modellen for karakterens ansigt. Denne metode er meget lettere for animatorerne at redigere og justere bevægelser frem for at bygge et nyt animeret ansigt fra bunden.

"Dette arbejde er et resultat af flere års forskning, så det er fantastisk at kunne tage vores forskning i brug på et kommercielt projekt for første gang. "

Lorna Probert, Leder af interaktiv produktion, Aardman tilføjede:"Da jeg fortalte fortællingen om virkelige individer, der har været påvirket på en så dramatisk måde, var det virkelig vigtigt for os, at karaktererne følte sig autentiske. At arbejde med CAMERA for at fange vores skuespillerinde til dette niveau af ansigtsdetaljer hjalp os med at formidle følelser af forestillingen, så publikum kunne føle sig ordentligt nedsænket i deres historie. "

Dokumentaren blev nomineret til flere priser sidste år, herunder Raindance Film Festival 2018 og Sheffield Doc Fest 2018. Den kan downloades gratis på Oculus Rift.

Holdet arbejdede for nylig med Aardman på det fortællende eventyrspil 11-11:Memories Retold, som brugte motion capture -teknologi til at animere karaktererne.