Google afslører ny virtual reality -oplevelse på SIGGRAPH 2018

Google har afsløret en ny virtual reality (VR) fordybende oplevelse baseret på et nyt system, der fanger og gengiver høj kvalitet, realistiske billeder fra den virkelige verden ved hjælp af lysfelter. Oprettet af et team af førende forskere på Google, Velkommen til Light Fields er techgigantens sprøjt ind i den spirende arena for lette felter VR -oplevelser, et spændende hjørne af VR-videoteknologi, der vinder indpas for sit løfte om at levere billeder og oplevelser i ekstrem høj kvalitet i den virtuelle verden.

Google frigav Welcome to Light Fields tidligere på året som en gratis app på Steam VR til HTC Vive, Oculus Rift, og Windows Mixed Reality -headsets. Skaberne vil demonstrere VR -oplevelsen på SIGGRAPH 2018, i den fordybende pavillon, et nyt rum til årets konference. Pavillonen er udelukkende afsat til virtuelle, forstærket, og blandet virkelighed og vil indeholde:Vrcade, plads til VR, AR, og MR -spil eller oplevelser; VR -teatret, en historiefortællende ekstravaganza, der er en del af Computer Animation Festival; og den velkendte landsby, til fremvisning af store projekter. SIGGRAPH 2018, afholdt 12-16 august i Vancouver, Britisk Columbia, er en årlig samling, der viser verdens førende fagfolk, akademikere, og kreative sind i spidsen for computergrafik og interaktive teknikker.

Destinationer i Welcome to Light Fields omfatter NASAs Space Shuttle Discovery, levere til seerne en astronauts udsigt inde i flydækket, som aldrig har været åben for offentligheden; det uberørte teak- og mahogniinteriør i Gamble House, en arkitektonisk skat i Pasadena, CA; og den herlige St. Stephen's Church i Granada Hills, CA, hjemsted for en fantastisk væg på mere end 14, 000 stykker glitrende farvet glas.

"Jeg elsker, at lysfelter i VR kan teleportere dig til eksotiske steder i den virkelige verden, og får dig virkelig til at tro, at du er der, "siger Ryan Overbeck, softwareingeniør hos Google, der var med til at lede projektet. "Til mig, det er magi. "

For at bringe denne oplevelse til live, Overbeck arbejdede med et team, der omfattede Paul Debevec, senior engineer hos Google, der styrede projektet og ledede hardware -stykket med ingeniørerne Xueming Yu, Jay Busch, og Graham Fyffe. Med Overbeck, Daniel Erickson og Daniel Evangelakos fokuserede på softwarens ende. Forskerne designede et omfattende system til indfangning og gengivelse af høj kvalitet, sfæriske lysfelt stillbilleder fra optagelser taget i den virkelige verden. De udviklede to brugervenlige lysfeltkameraer, der er lette at bruge, baseret på GoPro Hero4action sportskamera, der effektivt fanger tusinder af billeder på overfladen af ​​en kugle. Disse billeder blev derefter passeret gennem en skybaseret lysfeltbehandlingsrørledning.

Blandt andet, forklarer Overbeck, "Behandlingsrørledningen bruger computervision til at placere billederne i 3D og generere dybdekort, og vi bruger en modificeret version af vores vp9 -videocodec [videoformatering] til at komprimere lysfeltdataene ned til en håndterbar størrelse. "For at gengive et lysfeltdatasæt, bemærker han, teamet brugte en gengivelsesalgoritme, der blander mellem tusinder af lysfeltbilleder i realtid.

Teamet stolede på Googles talentfulde pool af ingeniører inden for computersyn, grafik, videokomprimering, og maskinlæring for at overvinde de unikke udfordringer i lysfeltteknologi. De samarbejdede også tæt med WebM-teamet (der laver vp9-videocodec) for at udvikle lysfeltkomprimeringsformatet af høj kvalitet, der er indarbejdet i deres system, og lænede sig stærkt på ekspertisen fra Jump VR -teamet for at hjælpe med at posere billederne og generere dybdekort. (Jump er Googles professionelle VR-system til opnåelse af 3-D-360-videoproduktion i stor skala.)

Ja, med Velkommen til Light Fields, Google -teamet demonstrerer potentialet og løftet om lysfelt -VR -teknologi, viser teknologiens evne til at give en virkelig fordybende oplevelse med et niveau af uovertruffen realisme. Selvom lysfeltteknologi er blevet undersøgt og udforsket inden for computergrafik i mere end 30 år, praktiske systemer til faktisk at levere lysfeltsoplevelser af høj kvalitet har endnu ikke været muligt.

En del af teamets motivation bag at skabe denne VR -lysfeltoplevelse er at styrke det spirende felt.

"Velkommen til Light Fields beviser, at det nu er muligt at lave en overbevisende VR-viewer til lysfelt, der kører på hardware i forbrugerkvalitet, og vi håber, at denne viden vil tilskynde andre til at engagere sig i opbygningen af ​​lysfeltteknologi og medier, "siger Overbeck." Vi forstår, at for i sidste ende at lave overbevisende forbrugerprodukter baseret på lette felter, vi har brug for et blomstrende lysfeltøkosystem. Vi har brug for åbne lysfelt -codecs, vi har brug for kunstnere, der skaber smukke lysfeltbilleder, og vi har brug for folk, der bruger VR for at interagere med lysfelter. "