Forskere udvikler en ny metode til at forringe billeder

Computergrafik af høj kvalitet, med deres allestedsnærværende tilstedeværelse i spil, illustrationer og visualisering, betragtes som state-of-the-art inden for visuel displayteknologi.

Metoden, der bruges til at gengive realistiske billeder af høj kvalitet, er kendt som "stisporing", som gør brug af en Monte Carlo (MC) denoising-tilgang baseret på overvåget maskinlæring. I denne læringsramme er maskinlæringsmodellen først fortrænet med støjende og rene billedpar og derefter anvendt på det faktiske støjende billede, der skal gengives (testbillede).

Selvom det anses for at være den bedste tilgang med hensyn til billedkvalitet, fungerer denne metode muligvis ikke godt, hvis testbilledet er markant anderledes end de billeder, der bruges til træning.

For at løse dette problem har en gruppe forskere, herunder ph.d. studerende Jonghee Back og lektor Bochang Moon fra Gwangju Institute of Science and Technology i Korea, forsker Binh-Son Hua fra VinAI Research i Vietnam og lektor Toshiya Hachisuka fra University of Waterloo i Canada, foreslog i en ny undersøgelse en ny MC denoising-metode, der ikke er afhængig af en reference. Deres undersøgelse blev gjort tilgængelig online den 24. juli 2022 og offentliggjort i ACM SIGGRAPH 2022 Conference Proceedings .

"De eksisterende metoder mislykkes ikke kun, når test- og togdatasæt er meget forskellige, men tager også lang tid at forberede træningsdatasættet til fortræning af netværket. Det, der skal til, er et neuralt netværk, der kan trænes med kun testbilleder i farten uden behov. til fortræning," siger Dr. Moon og forklarer motivationen bag deres undersøgelse.

For at opnå dette foreslog holdet en ny post-korrektionstilgang til et dæmpet billede, der omfattede en selvovervåget maskinlæringsramme og et postkorrektionsnetværk, dybest set et konvolutionelt neuralt netværk, til billedbehandling. Efterkorrektionsnetværket var ikke afhængigt af et foruddannet netværk og kunne optimeres ved hjælp af det selvovervågede læringskoncept uden at stole på en reference. Derudover supplerede og boostede den selvovervågede model de konventionelle overvågede modeller til denoising.

For at teste effektiviteten af ​​det foreslåede netværk anvendte holdet deres tilgang til de eksisterende avancerede denoising-metoder. Den foreslåede model demonstrerede en tredobbelt forbedring i den gengivede billedkvalitet i forhold til inputbilledet ved at bevare finere detaljer. Desuden tog hele processen med on the fly-træning og endelig konklusion kun 12 sekunder.

"Vores tilgang er den første, der ikke er afhængig af fortræning ved hjælp af et eksternt datasæt. Dette vil i realiteten forkorte produktionstiden og forbedre kvaliteten af ​​offline-gengivelsesbaseret indhold såsom animation og film," siger Dr. Moon , der spekulerer over de potentielle anvendelser af deres arbejde. + Udforsk yderligere

Ny fundamentmodel forbedrer nøjagtigheden til billedfortolkning af fjernregistrering