For at replikere fysiske objekter til virtual reality, bare tænd for din smartphone

Optagelse og gengivelse af realistisk, virkelige objekter til ethvert virtuelt miljø er komplekst og tidskrævende. Forestil dig at bruge et konventionelt kamera med en indbygget blitz – fra enhver mobilenhed eller et digitalt kamera – for at forenkle denne opgave. Et globalt team af dataloger har udviklet en ny metode, der replikerer fysiske objekter til virtuelle og augmented reality-rum blot ved hjælp af et peg-og-skyd-kamera med blitz, uden behov for yderligere, og ofte dyrt, understøttende hardware.

"At trofast gengive et objekt i den virkelige verden i VR/AR-miljøet, vi skal replikere 3D-geometrien og objektets udseende, " siger Min H. Kim, lektor i datalogi ved KAIST i Sydkorea og hovedforfatter af forskningen. "Traditionelt dette er enten blevet gjort manuelt af 3-D kunstnere, hvilket er en arbejdskrævende opgave, eller ved at bruge specialiserede, dyrt hardware. Vores metode er ligetil, billigere og effektiv, og gengiver realistiske 3D-objekter ved blot at tage billeder fra et enkelt kamera med en indbygget blitz."

Kim og hans samarbejdspartnere, Diego Gutierrez, professor i datalogi ved Universidad de Zaragoza i Spanien, og KAIST Ph.D. studerende Giljoo Nam og Joo Ho Lee, vil præsentere dette nye værk på SIGGRAPH Asia 2018 i Tokyo 4. december til 7. december. Den årlige konference byder på de mest respekterede tekniske og kreative medlemmer inden for computergrafik og interaktive teknikker, og fremviser førende forskning inden for videnskab, kunst, spil og animation, blandt andre sektorer.

Eksisterende tilgange til erhvervelse af fysiske objekter kræver specialiserede hardware opsætninger for at opnå geometri og udseende modellering af de ønskede objekter. Disse opsætninger kan omfatte en 3-D laserscanner eller flere kameraer, eller en lyskuppel med mere end hundrede lyskilder. I modsætning, denne nye teknik kræver kun et enkelt kamera, at producere output af høj kvalitet.

"Mange traditionelle metoder, der bruger et enkelt kamera, kan kun fange objekters 3D-geometri, men ikke den komplekse reflektion af objekter i den virkelige verden, givet af SVBRDF, " bemærker Kim. SVBRDF, som står for rumligt varierende bidirektionelle reflektansfordelingsfunktioner, er nøglen til at opnå et objekts virkelige form og udseende. "Ved kun at bruge 3-D-geometri kan man ikke gengive objektets realistiske udseende i AR/VR-miljøet. Vores teknik kan fange højkvalitets 3-D-geometri såvel som dets materielle udseende, så objekterne kan gengives realistisk i enhver virtuel miljø."

Gruppen demonstrerede deres rammer ved hjælp af et digitalkamera, Nikon D7000 og det indbyggede kamera på en Android-mobiltelefon, i en række eksempler i deres papir, "Praktisk SVBRDF-opsamling af 3-D-objekter med ustruktureret flashfotografering." Den nye algoritme, som ikke kræver nogen inputgeometri for målobjektet, med held fanget geometrien og udseendet af 3D-objekter med grundlæggende, flashfotografering og reproducerede konsistente resultater. Eksempler, der blev fremvist i værket, omfattede forskellige sæt af objekter, der spændte over en bred vifte af geometrier og materialer, inklusive metal, træ, plast, keramisk, harpiks og papir, og består af komplekse former som en fint detaljeret mini-statut af Nefertiti.

I det fremtidige arbejde, forskerne håber at forenkle optagelsesprocessen yderligere eller udvide metoden til at omfatte dynamisk geometri eller større scener, for eksempel.