NVIDIA -forskere hæver grænsen for billedmaling

For dem, der endnu ikke er bekendt med fotorekonstruktionsværktøjer, titlen på denne artikel om arXiv kan være fuldstændig forvirrende:"Image Inpainting for irregular Holes Using Partial Convolutions." Forskningen, selvom, fra et NVIDIA -team, viser vejen til spændende forbedringer i vente for dem, der skal udføre billedredigering, og som ønsker gode resultater.

Billedindmaling handler om at udfylde huller i et billede. Det kan bruges til at fjerne billedindhold, der ikke er ønsket, mens du udfylder rummet med plausible billeder. Tilbage til titlen på deres papir, holdet undersøgte deres opfattelse af en forbedret proces, som kunne implementeres i billedredigeringssoftware.

Ovre på NVIDIA Developer News Center er en oversigt over deres forskning. De fandt på en metode, som man tjener til (1) at redigere billeder eller (2) rekonstruere et beskadiget billede, en der har huller eller mangler pixels. Og da de sagde "rediger, ", der inkluderer fjernelse af indhold og udfyldning af hullerne.

Videoen viser tydeligt, hvor interessant det kan blive, præsentation af sæt af fotos før og efter whiting-out processen starter. Scenerne for den ene er en sten udendørs og en anden er et bibliotek indendørs. Endnu et sæt viser menneskers ansigter, inklusive en kvinde, unge mænd og en ældre mand.

Hvad går deres arbejde ud på?

"Forskere fra NVIDIA, ledet af Guilin Liu, introducerede en state-of-the-art deep learning-metode, der kan redigere billeder eller rekonstruere et beskadiget billede, en, der har huller eller mangler pixels. Metoden kan også bruges til at redigere billeder ved at fjerne indhold og udfylde de resulterende huller." Det fremgår af videonoterne.

Der var to faser i spil, træningsfasen og testfasen.

For at forberede sig på at træne deres neurale netværk, holdet genererede først masker af tilfældige striber og huller med vilkårlige former og størrelser til træning, sagde nyhedscentrets rapport. Kategorier blev udtænkt baseret på størrelser i forhold til inputbilledet, for at forbedre rekonstruktionsnøjagtigheden. Den neurale netværkstræning involverede de genererede masker til billeder fra ImageNet, Places2 og CelebA-HQ datasæt.

"I træningsfasen, huller eller manglende dele indføres i komplette træningsbilleder fra ovenstående datasæt, for at sætte netværket i stand til at lære at rekonstruere de manglende pixels. I testfasen, forskellige huller eller manglende dele, ikke anvendt under træning, introduceres i testbillederne i datasættet, at udføre upartisk validering af rekonstruktionens nøjagtighed. "

Hvorfor deres arbejde skiller sig ud:"Så vidt vi ved, vi er de første til at demonstrere effektiviteten af ​​deep learning-billedmalingsmodeller på uregelmæssigt formede huller."

Forskerne var opmærksomme på eksisterende deep learning-baserede billedmalerimetoder. Disse brugte "et standard konvolutionsnetværk over det beskadigede billede, ved at bruge foldningsfilterresponser, der er betinget af både gyldige pixels såvel som erstatningsværdierne i de maskerede huller (typisk middelværdien)."De sagde, at dette "ofte fører til artefakter såsom farveuoverensstemmelse og sløring. Efterbehandling bruges normalt til at reducere sådanne artefakter, men er dyre og kan mislykkes."

De sagde, at de foreslog delvise konvolutions - ved at "konvolusionen er maskeret og renormaliseret for kun at være betinget af gyldige pixels."

De viste kvalitative og kvantitative sammenligninger med andre metoder til at validere deres tilgang, og de udtalte, at deres model "udkonkurrerer andre metoder til uregelmæssige masker."

Avisens forfattere er Guilin Liu, Fitsum Reda, Kevin Shih, Ting-Chun Wang, Andrew Tao og Bryan Catanzaro.

© 2018 Tech Xplore