Ny denoising-metode genererer skarpere fotorealistiske billeder hurtigere

Monte Carlo beregningsmetoder ligger bag mange af de realistiske billeder i spil og film. De automatiserer kompleksiteten i at simulere fysikken i lys og kameraer for at generere gengivelser af høj kvalitet fra prøver af forskellige billedfunktioner og scener. Men processen med Monte Carlo-gengivelse er langsom og kan tage timer – eller endda dage – at producere et enkelt billede, og ofte er resultaterne stadig pixelerede, eller "støjende."

Et globalt team af dataloger fra MIT, Adobe, og Aalto University har udviklet en innovativ metode til at producere billeder og scenedesign i højere kvalitet på meget kortere tid ved at bruge en dyb-læringsbaseret tilgang, der reducerer støjen i billeder betragteligt. Deres metode resulterer i skarpere billeder, der effektivt fanger indviklede detaljer fra prøvefunktioner, inklusive komplekse belysningskomponenter som skygger, indirekte belysning, bevægelsessløring, og dybdeskarphed.

Forskerne skal præsentere deres arbejde på SIGGRAPH 2019, afholdt 28. juli-1. august i Los Angeles. Denne årlige samling viser verdens førende fagfolk, akademikere, og kreative sind på forkant med computergrafik og interaktive teknikker.

"Vores algoritme kan producere rene billeder fra støjende inputbilleder med meget få prøver, og kunne være nyttige til at producere hurtige gengivede forhåndsvisninger, mens du gentager scenedesign, " siger studieleder Michael Gharbi, forsker hos Adobe. Gharbi begyndte forskningen som ph.d. studerende ved MIT i Frédo Durands laboratorium, som også er medforfatter.

Teamets arbejde fokuserer på såkaldt "denoising, " en efterbehandlingsteknik til at reducere billedstøj i Monte Carlo-gengivelse. Den bevarer i det væsentlige detaljerne i et billede og fjerner alt, der forringer dets skarphed. I tidligere arbejde, dataloger har udviklet metoder, der udjævner støjen ved at tage gennemsnittet fra pixels i et prøvebillede og nabopixel.

"Det her fungerer rimeligt godt, og flere film har faktisk brugt dette i produktionen, " bemærker medforfatter Tzu-Mao Li, en nylig ph.d. kandidat fra MIT, der også studerede under Durand. "Imidlertid, hvis billederne er for støjende, ofte er efterbehandlingsmetoderne ikke i stand til at gendanne rene og skarpe billeder. Normalt har brugere stadig brug for hundredvis af prøver pr. pixel i gennemsnit for et billede med rimelig kvalitet - en kedelig, tidskrævende proces."

Noget sammenlignelig er processen med at redigere et foto i et grafikprogram. Hvis en bruger ikke arbejder fra originalen, rå fil, ændrede versioner af billedet vil sandsynligvis ikke resultere i en tydelig, skarp, slutbillede i høj opløsning. Et lignende, men mere komplekst problem er billednedbrydning.

Til denne ende, forskernes nye beregningsmetode involverer at arbejde med Monte Carlo-prøverne direkte, i stedet for gennemsnittet, støjende billeder, hvor de fleste informationer allerede er gået tabt. I modsætning til typiske deep learning metoder, der omhandler billeder eller videoer, forskerne demonstrerer en ny type foldningsnetværk, der kan lære at dæmpe gengivelser direkte fra det rå sæt af Monte Carlo-prøver i stedet for fra de reducerede, pixelbaserede repræsentationer.

En vigtig del af deres arbejde er en ny kerne-forudsigende beregningsramme, der "markerer" individuelle prøver – farver og teksturer – på nærliggende pixels for at skærpe den overordnede komposition af billedet. I traditionel billedbehandling, en kerne bruges til at sløre eller skærpe. Splatting er en teknik, der adresserer bevægelsessløring eller dybdeskarphedsproblemer og gør det nemmere at udjævne et pixeleret område af en prøve.

I dette arbejde, holdets splatting-algoritme genererer en 2-D-kerne for hver prøve, og "marker" prøven på billedet. "Vi argumenterer for, at dette er en mere naturlig måde at udføre efterbehandlingen på, " siger Li. Holdet trænede deres netværk ved hjælp af en tilfældig scenegenerator og testede deres metode grundigt på en række realistiske scener, herunder forskellige lysscenarier såsom indirekte og direkte belysning.

"Vores metode giver renere output ved meget lave prøveantal, hvor tidligere metoder typisk kæmper, " tilføjer Gharbi.

I det fremtidige arbejde, forskerne har til hensigt at adressere skalerbarhed med deres metode for at udvide til flere prøvefunktioner og udforske teknikker til at fremtvinge billed-til-ramme-jævnhed af de uskadelige billeder.

Papiret, "Sample-baseret Monte Carlo Denoising ved hjælp af et kernel-splatting netværk, " er også medforfatter af Miika Aittala ved MIT og Jaakko Lehtinen ved Aalto University og Nvidia. For flere detaljer og en video, besøg teamets projektside.