Googles nye system fanger karakterbelysning til stort set ethvert miljø

Selv uerfarne fotografer og videografer, der er afhængige af deres håndholdte enheder til at tage billeder eller lave videoer, overvejer ofte deres motivs lys. Belysning er afgørende i filmproduktion, spil, og virtuelle/augmented reality-miljøer og kan skabe eller ødelægge kvaliteten af ​​en scene og skuespillerne og performerne i den. Replikation af realistisk karakterbelysning er forblevet en vanskelig udfordring inden for computergrafik og computersyn.

Mens der er gjort betydelige fremskridt med volumetriske opsamlingssystemer, med fokus på 3-D geometrisk rekonstruktion med høj opløsning teksturer, såsom metoder til at opnå realistiske former og teksturer af det menneskelige ansigt, meget mindre arbejde er blevet gjort for at genskabe de fotometriske egenskaber, der er nødvendige for at genbelyse tegn. Resultater fra sådanne systemer mangler fine detaljer, og motivets skygge er forbagt ind i teksturen.

Dataloger hos Google revolutionerer dette område af volumetrisk optagelsesteknologi med en roman, omfattende system, der er i stand til, for første gang, at fange helkropsreflektans af 3-D menneskelige præstationer, og bland dem problemfrit ind i den virkelige verden gennem AR eller i digitale scener i film, spil, og mere. Google vil præsentere deres nye system, kaldet The Relightables, hos ACM SIGGRAPH Asia, afholdt 17. til 20. november i Brisbane, Australien. SIGGRAPH Asien, nu i sit 12. år, tiltrækker de mest respekterede tekniske og kreative mennesker fra hele verden inden for computergrafik, animation, interaktivitet, spil, og nye teknologier.

Der er sket store fremskridt inden for dette område af arbejde, som industrien kalder 3-D-optagelsessystemer. Gennem disse sofistikerede systemer, seerne har kunnet opleve digitale karakterer komme til live på det store lærred, for eksempel, i blockbusters som Avatar og Avengers-serien og meget mere.

Ja, den volumetriske indfangningsteknologi har nået et højt kvalitetsniveau, men mange af disse rekonstruktioner mangler stadig ægte fotorealisme. I særdeleshed, på trods af at disse systemer bruger avancerede studieopsætninger med grønne skærme, de kæmper stadig med at fange højfrekvente detaljer om mennesker, og de genvinder kun en fast belysningstilstand. Dette gør disse volumetriske optagelsessystemer uegnede til fotorealistisk gengivelse af skuespillere eller performere i vilkårlige scener under forskellige lysforhold.

Googles Relightables-system gør det muligt at tilpasse belysningen på karakterer i realtid eller genbelyse dem i en given scene eller miljø.

De demonstrerer dette på motiver, der er optaget inde i en tilpasset geodætisk sfære udstyret med 331 brugerdefinerede farve LED-lys (også kaldet et Light Stage capture-system), en række højopløselige kameraer, og et sæt brugerdefinerede højopløselige dybdesensorer. Relightables-systemet fanger omkring 65 GB pr. sekund af rådata fra næsten 100 kameraer, og dets beregningsmæssige rammer gør det muligt at behandle dataene effektivt i denne skala.

Deres system fanger reflektionsinformationen på en person - den måde, belysningen interagerer med huden på, er en vigtig faktor for, hvordan realistiske digitale mennesker fremstår. Tidligere forsøg brugte enten flad belysning eller påkrævede computergenererede tegn. Ikke kun er de i stand til at fange reflektionsinformation om en person, men de er i stand til at optage, mens personen bevæger sig frit inden for lydstyrken. Som resultat, de er i stand til at genoplyse deres animation i vilkårlige miljøer.

Historisk set, kameraer optager mennesker fra et enkelt synspunkt og lysforhold. Dette nye system, bemærk forskerne, giver brugerne mulighed for at optage nogen og derefter se dem fra ethvert synspunkt og lysforhold, fjerner behovet for en grøn skærm for at skabe specielle effekter og giver mulighed for mere fleksible lysforhold.

Rummets samspil, lys, og skygge mellem en performer og deres omgivelser spiller en afgørende rolle i at skabe en følelse af nærvær. Ud over blot at "klippe-og-klistre" en 3-D-videooptagelse, systemet giver mulighed for at optage nogen og derefter problemfrit placere dem i nye miljøer – hvad enten det er i deres eget rum til AR-oplevelser – eller i en VR-verden, film, eller spiloplevelse.

Hos SIGGRAPH Asia, Relightables-teamet vil præsentere komponenterne i deres system, fra optagelse til behandling til visning, med videodemoer af hver fase. De vil lede deltagerne gennem ins og outs i bygningen af ​​The Relightables, beskriver de store udfordringer, de tacklede i arbejdet og fremviser nogle fede applikationer og gengivelser.