Virtual reality-ansigter - animerer præcist, naturtro avatarer til VR i realtid

Dataloger er fokuseret på at tilføje forbedret funktionalitet for at gøre "virkeligheden" i virtual reality-miljøer (VR) meget troværdige. Et nøgleaspekt ved VR er at muliggøre fjerntliggende sociale interaktioner og muligheden for at gøre det mere fordybende end noget tidligere telekommunikationsmedie. Forskere fra Facebook Reality Labs (FRL) har udviklet et revolutionerende system kaldet Codec Avatars, der giver VR-brugere mulighed for at interagere med andre, mens de repræsenterer sig selv med naturtro avatarer, der er præcist animerede i realtid. Forskerne sigter mod at bygge fremtidens forbindelse inden for virtual reality, og til sidst, augmented reality ved at levere den mest socialt engagerede oplevelse for brugere i VR-verdenen.

Til dato, meget fotorealistiske avatarer gengivet i realtid er blevet opnået og brugt hyppigt i computeranimation, hvorved skuespillere er udstyret med sensorer, der er optimalt placeret til beregningsmæssigt at fange geometriske detaljer af deres ansigter og ansigtsudtryk. Denne sensorteknologi, imidlertid, er ikke kompatibel med eksisterende VR-headset-design eller -platforme, og typiske VR-headset blokerer forskellige dele af ansigtet, så fuldstændig ansigtsfangstteknologi er vanskelig. Derfor, disse systemer er mere velegnede til envejsforestillinger frem for tovejsinteraktioner, hvor to eller flere personer alle bærer VR-headset.

"Vores arbejde viser, at det er muligt præcist at animere fotorealistiske avatarer fra kameraer tæt monteret på et VR-headset, " siger hovedforfatter Shih-En Wei, forsker hos Facebook. Wei og samarbejdspartnere har konfigureret et headset med minimumssensorer til ansigtsoptagelse, og deres system muliggør tovejs, autentisk social interaktion i VR.

Wei og hans kollegaer fra Facebook vil demonstrere deres VR-ansigtsanimationssystem i realtid på SIGGRAPH 2019, afholdt 28. juli-1. august i Los Angeles. Denne årlige samling viser verdens førende fagfolk, akademikere, og kreative sind på forkant med computergrafik og interaktive teknikker.

I dette arbejde, forskerne præsenterer et system, der kan animere avatarhoveder med meget detaljeret personlig lighed ved præcist at spore brugernes ansigtsudtryk i realtid ved hjælp af et minimumssæt af headset-monterede kameraer (HMC). De løser to nøgleudfordringer:vanskelige kameravisninger på HMC og de store udseendeforskelle mellem billeder taget fra headset-kameraerne og gengivelser af personens naturtro avatar.

Holdet udviklede en "trænings" headset prototype, som ikke kun har kameraer på det almindelige sporingsheadset til animation i realtid, men er desuden udstyret med kameraer i mere imødekommende positioner for ideel ansigtssporing. Forskerne præsenterer en kunstig intelligens-teknik baseret på Generative Adversarial Networks (GAN'er), der udfører konsekvent multi-view billedstil oversættelse for automatisk at konvertere HMC infrarøde billeder til billeder, der ligner en gengivet avatar, men med det samme ansigtsudtryk som personen.

"Ved at sammenligne disse konverterede billeder ved hjælp af hver pixel - ikke kun sparsomme ansigtstræk - og gengivelserne af 3D-avataren, " bemærker Wei, "vi kan præcist kortlægge billederne fra tracking-headset og status for 3-D-avataren gennem differentierbar gengivelse. Efter at kortlægningen er etableret, vi træner et neuralt netværk til at forudsige ansigtsparametre fra et minimalt sæt kamerabilleder i realtid."

De viste en række eksempler i dette arbejde, og var i stand til at vise, at deres metode kan finde kortlægninger af høj kvalitet selv for subtile ansigtsudtryk på det øverste ansigt - et område, der er meget svært at fange - hvor kameravinklen fra headsettet er skæv og for tæt på motivet. Forskerne viser også ekstremt detaljeret ansigtsfangst, herunder subtile forskelle i sprogbrug, tænder, og øjne, hvor avataren ikke har detaljeret geometri.

Ud over at animere avatarerne i VR, FRL-teamet bygger også systemer, der måske en dag gør folk i stand til hurtigt og nemt at skabe deres avatarer ud fra nogle få billeder eller videoer. Mens nutidens Codec-avatarer oprettes automatisk, processen kræver et stort system af kameraer og mikrofoner for at fange individet. FRL har også til formål at skabe og animere hele kroppe til at udtrykke mere komplette sociale signaler. Selvom denne teknologi er år væk fra at nå ud til forbrugernes headset, forskergruppen arbejder allerede gennem mulige løsninger for at holde avatardata sikre og sikre, at avatarer kun kan tilgås af de personer, de repræsenterer.