Brug af kunstig intelligens til at generere 3D-hologrammer i realtid

Trods mange års hype, virtual reality-headset har endnu ikke væltet tv- eller computerskærme som de vigtigste enheder til videovisning. En grund:VR kan få brugerne til at føle sig syge. Kvalme og anstrengte øjne kan resultere, fordi VR skaber en illusion af 3D-visning, selvom brugeren faktisk stirrer på en 2D-skærm med fast afstand. Løsningen til bedre 3D-visualisering kunne ligge i en 60 år gammel teknologi, der er lavet om til den digitale verden:hologrammer.

Hologrammer leverer en enestående repræsentation af 3D-verden omkring os. Plus, de er smukke. (Gå videre – tjek den holografiske due på dit Visa-kort.) Hologrammer tilbyder et skiftende perspektiv baseret på seerens position, og de tillader øjet at justere brændvidden for skiftevis at fokusere på forgrund og baggrund.

Forskere har længe søgt at lave computergenererede hologrammer, men processen har traditionelt krævet en supercomputer til at løbe gennem fysiksimuleringer, hvilket er tidskrævende og kan give mindre end fotorealistiske resultater. Nu, MIT-forskere har udviklet en ny måde at producere hologrammer på næsten øjeblikkeligt - og den dybe læringsbaserede metode er så effektiv, at den kan køre på en bærbar computer i et øjeblik, siger forskerne.

"Folk troede tidligere, at med eksisterende hardware i forbrugerkvalitet, det var umuligt at lave 3D-holografiberegninger i realtid, " siger Liang Shi, undersøgelsens hovedforfatter og en ph.d. studerende i MIT's Institut for Elektroteknik og Datalogi (EECS). "Det er ofte blevet sagt, at kommercielt tilgængelige holografiske skærme vil være på markedet om 10 år, alligevel har denne udtalelse eksisteret i årtier."

Shi mener, at den nye tilgang, som holdet kalder "tensor holografi, " vil endelig bringe det uhåndgribelige 10-årige mål inden for rækkevidde. Fremskridtet kunne sætte skub i en afsmitning af holografi til områder som VR og 3D-print.

Shi arbejdede på studiet, udgivet i Natur , med sin rådgiver og medforfatter Wojciech Matusik. Andre medforfattere inkluderer Beichen Li fra EECS og Computer Science and Artificial Intelligence Laboratory ved MIT, samt tidligere MIT-forskere Changil Kim (nu på Facebook) og Petr Kellnhofer (nu ved Stanford University).

Jagten på bedre 3D

Et typisk linsebaseret fotografi koder lysstyrken af ​​hver lysbølge – et foto kan trofast gengive en scenes farver, men det giver i sidste ende et fladt billede.

I modsætning, et hologram koder både lysstyrken og fasen af ​​hver lysbølge. Denne kombination giver en mere sand skildring af en scenes parallakse og dybde. Så, mens et fotografi af Monets "Åkander" kan fremhæve maleriernes farvesmag, et hologram kan bringe værket til live, gengivelse af den unikke 3D-tekstur af hvert penselstrøg. Men på trods af deres realisme, hologrammer er en udfordring at lave og dele.

Først udviklet i midten af ​​1900-tallet, tidlige hologrammer blev registreret optisk. Det krævede at opdele en laserstråle, med halvdelen af ​​strålen brugt til at belyse motivet og den anden halvdel brugt som reference for lysbølgernes fase. Denne reference genererer et holograms unikke følelse af dybde. De resulterende billeder var statiske, så de ikke kunne fange bevægelse. Og de var kun papirkopier, gør dem svære at reproducere og dele.

Computergenereret holografi omgår disse udfordringer ved at simulere den optiske opsætning. Men processen kan være et regnestykke. "Fordi hvert punkt i scenen har en anden dybde, du kan ikke anvende de samme operationer for dem alle, " siger Shi. "Det øger kompleksiteten betydeligt." At dirigere en klynget supercomputer til at køre disse fysikbaserede simuleringer kan tage sekunder eller minutter for et enkelt holografisk billede. Plus, eksisterende algoritmer modellerer ikke okklusion med fotorealistisk præcision. Så Shis team tog en anden tilgang:at lade computeren lære fysik til sig selv.

De brugte dyb læring til at accelerere computergenereret holografi, giver mulighed for real-time hologramgenerering. Holdet designede et foldet neuralt netværk - en behandlingsteknik, der bruger en kæde af oplærbare tensorer til groft at efterligne, hvordan mennesker behandler visuel information. Træning af et neuralt netværk kræver typisk en stor, datasæt af høj kvalitet, som ikke tidligere eksisterede for 3D-hologrammer.

Teamet byggede en tilpasset database med 4, 000 par computergenererede billeder. Hvert par matchede et billede - inklusive farve- og dybdeoplysninger for hver pixel - med dets tilsvarende hologram. For at oprette hologrammerne i den nye database, forskerne brugte scener med komplekse og variable former og farver, med dybden af ​​pixels fordelt jævnt fra baggrunden til forgrunden, og med et nyt sæt fysik-baserede beregninger til at håndtere okklusion. Denne tilgang resulterede i fotorealistiske træningsdata. Næste, algoritmen kom til at virke.

Ved at lære af hvert billedpar, tensornetværket justerede parametrene for sine egne beregninger, successivt forbedre sin evne til at skabe hologrammer. Det fuldt optimerede netværk fungerede i størrelsesordener hurtigere end fysikbaserede beregninger. Den effektivitet overraskede holdet selv.

"Vi er overrasket over, hvor godt det præsterer, " siger Matusik. På blot millisekunder, tensorholografi kan lave hologrammer ud fra billeder med dybdeinformation - som leveres af typiske computergenererede billeder og kan beregnes ud fra en multikameraopsætning eller LiDAR-sensor (begge er standard på nogle nye smartphones). Dette fremskridt baner vejen for 3D-holografi i realtid. Hvad mere er, det kompakte tensornetværk kræver mindre end 1 MB hukommelse. "Det er ubetydeligt, i betragtning af de titusinder og hundredvis af gigabyte, der er tilgængelige på den nyeste mobiltelefon, " han siger.

"Et betydeligt spring"

3D-holografi i realtid ville forbedre en række systemer, fra VR til 3D-print. Holdet siger, at det nye system kan hjælpe med at fordybe VR-seere i mere realistiske omgivelser, samtidig med at øjenbelastning og andre bivirkninger ved langvarig VR-brug elimineres. Teknologien kunne nemt implementeres på skærme, der modulerer lysbølgernes fase. I øjeblikket, de mest overkommelige skærme i forbrugerkvalitet modulerer kun lysstyrken, selvom omkostningerne ved fasemodulerende skærme ville falde, hvis de blev bredt vedtaget.

Tredimensionel holografi kunne også sætte skub i udviklingen af ​​volumetrisk 3D-print, siger forskerne. Denne teknologi kan vise sig at være hurtigere og mere præcis end traditionel lag-for-lag 3D-print, da volumetrisk 3D-print giver mulighed for samtidig projektion af hele 3D-mønsteret. Andre applikationer omfatter mikroskopi, visualisering af medicinske data, og design af overflader med unikke optiske egenskaber.

"Det er et betydeligt spring, der fuldstændigt kunne ændre folks holdning til holografi, " siger Matusik. "Vi føler, at neurale netværk blev født til denne opgave."