Nyt system kan trofast genskabe dine yndlingsmalerier via 3-D-print og dyb læring

De tomme rammer, der hænger inde i Isabella Stewart Gardner-museet, tjener som en konkret påmindelse om verdens største uløste kunstrav. Selvom vi måske aldrig afslører disse originale mesterværker, et hold fra MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL) kan måske hjælpe, med et nyt system, der har til formål at designe reproduktioner af malerier.

"RePaint" bruger en kombination af 3-D-print og dyb læring til autentisk at genskabe dine yndlingsmalerier – uanset forskellige lysforhold eller placering. RePaint kan bruges til at lave kunstværker til dit hjem, beskytte originaler mod slid på museer, eller endda hjælpe virksomheder med at skabe print og postkort af historiske stykker.

"Hvis du bare gengiver farven på et maleri, som det ser ud i galleriet, det kan se anderledes ud i dit hjem, " siger Changil Kim, en af ​​forfatterne på et nyt papir om systemet, som præsenteres på ACM SIGGRAPH Asia i december. "Vores system fungerer under alle lysforhold, som viser en langt større farvegengivelsesevne end næsten noget andet tidligere arbejde."

For at teste RePaint, holdet reproducerede en række oliemalerier skabt af deres kunstnersamarbejdspartner. Holdet fandt ud af, at RePaint var mere end fire gange mere præcis end avancerede fysiske modeller til at skabe de nøjagtige farvenuancer til forskellige kunstværker.

På nuværende tidspunkt er reproduktionerne kun på størrelse med et visitkort, på grund af udskrivningens tidskrævende karakter. I fremtiden forventer holdet, at mere avancerede, kommercielle 3-D-printere kunne hjælpe med at lave større malerier mere effektivt.

Sådan fungerer det Mens 2-D-printere oftest bruges til at gengive malerier, hvis du har en blå himmel eller en lilla kjole i dit kunstværk, du kan være uheldig. Det skyldes, at 2-D-printere har et fast sæt på kun fire blæk (cyan, magenta, gul, og sort).

Forskerne, imidlertid, fundet en bedre måde at fange et bredere spektrum af Degas og Dali. De brugte en speciel teknik de udviklede kaldet "farve-kontonering", som involverer brug af en 3-D printer og 10 forskellige gennemsigtige blæk stablet i meget tynde lag, meget som oblater og chokolade i en Kit-Kat bar. De kombinerede deres metode med en årtier gammel teknik kaldet "halftoning", hvor et billede er skabt af tonsvis af små blækprikker, snarere end kontinuerlige toner. Ved at kombinere disse, holdet siger, bedre fangede nuancerne i farverne.

Med et større farveområde at arbejde med, spørgsmålet om, hvilke farver der skal bruges til hvilke malerier der stadig var tilbage. I stedet for at bruge mere besværlige fysiske tilgange, holdet trænede en deep learning-model til at forudsige den optimale stak af forskellige blæk. Når først systemet havde styr på det, de fodrede derefter billeder af malerier, og brugte modellen til at bestemme, hvilke farver der skulle bruges i hvilke særlige områder til specifikke malerier.

På trods af de hidtidige fremskridt, holdet siger, at de har et par forbedringer at lave, før de kan skabe en blændende dupe af "Starry Night". Ifølge maskiningeniør Mike Foshey, de kunne ikke fuldstændigt gengive visse farver som koboltblå på grund af et begrænset blækbibliotek.

I fremtiden planlægger de at udvide dette bibliotek, samt oprette en malespecifik algoritme til valg af blæk. De kan også håbe på at opnå bedre detaljer for at tage højde for aspekter som overfladetekstur og refleksion, så de kan opnå specifikke effekter såsom blank og mat finish.

"Værdien af ​​kunst er steget hurtigt i de senere år, så der er en øget tendens til, at det bliver spærret inde i varehuse væk fra offentligheden, " siger Foshey. "Vi bygger teknologien for at vende denne tendens, og at skabe billige og nøjagtige reproduktioner, som kan nydes af alle."

Kim og Foshey arbejdede på systemet sammen med hovedforfatteren Liang Shi, MIT professor Wojciech Matusik, tidligere MIT postdoc Vahid Babaei, nu gruppeleder ved Max Planck Institute of Informatics, Professor i datalogi ved Princeton University, Szymon Rusinkiewicz, og tidligere MIT postdoc Pitchaya Sitthi-Amorn, nu underviser ved Chulalongkorn University i Bangkok, Thailand.