Brug af maskinlæring til at rekonstruere forringede Van Gogh-tegninger

Forskere ved TU Delft i Holland har for nylig udviklet en konvolutionelt neuralt netværk (CNN)-baseret model til at rekonstruere tegninger, der er blevet forringet over tid. I deres undersøgelse, udgivet i Springer's Maskinsyn og applikationer , de brugte specifikt modellen til at rekonstruere nogle af Vincent Van Goghs tegninger, der blev ødelagt gennem årene på grund af blækfadning og misfarvning.

"Holland har et internationalt ry med hensyn til kunst, med berømte kunstnere som Rembrandt, Mondrian og Van Gogh, " Jan van der Lubbe, en af ​​de forskere, der har udført undersøgelsen, fortalte TechXplore. "Derfor, kunsthistorisk forskning og forskning i, hvordan man kan bevare kulturarven, spiller en vigtig rolle i Holland."

I de seneste år, et stigende antal forskere har forsøgt at udvikle maskinlæringsteknikker, såsom CNN, til analyse af kunstværker. Indtil nu, disse værktøjer er primært blevet brugt til at identificere den kunstner, der har skabt specifikke kunstværker eller til at afgøre, om malerier er ægte eller falske.

I modsætning til tidligere forskning, van der Lubbe og hans kolleger satte sig for at undersøge brugen af ​​maskinlæringsteknikker til den pixelvise rekonstruktion af forringede malerier. Når det kommer til kunstbevaring, forringelsen af ​​malerier og tegninger er en vigtig udfordring, så værktøjer, der automatisk kan rekonstruere ufuldstændige eller ødelagte kunstværker, ville i høj grad forenkle kunsthistorikeres arbejde.

Holdet af forskere ved TU Delft trænede deres CNN-baserede model på reproduktioner af forringede tegninger af den post-impressionistiske maler Van Gogh. Faktisk, nogle af Van Goghs blækketegninger er blevet væsentligt forringet i løbet af det sidste århundrede, og kunsthistorikere har ofte forsøgt at gengive dem.

Disse tegninger kan i øjeblikket ikke udstilles, og om et par årtier kan de forværres fuldstændigt. Med det i tankerne, Van der Lubbe og hans kolleger ønskede at udvikle en model, der automatisk kan rekonstruere disse uvurderlige kunstværker for at bevare dem og gøre dem tilgængelige for offentligheden.

"Et af hovedmålene med vores forskning var at forudsige originalen, tidligere og fremtidige fremkomster af kunstværker på papir ved hjælp af maskinlæringsmetoder, der integrerer resultaterne af både dybdegående undersøgelser af de anvendte farver og deres misfarvning over tid, " sagde van der Lubbe. "Dette kunne hjælpe med at forestille sig, hvordan for eksempel, en tegning af Van Gogh kan have set på tidspunktet for dens skabelse."

Den tilgang, der er udtænkt af van der Lubbe og hans kolleger, kombinerer teknikker til billedanalyse i flere opløsninger og dybe CNN'er for at forudsige de tidligere fremkomster af tegninger pixel-vist. CNN'er er algoritmer inspireret af biologiske neurale netværk såsom dem i den menneskelige hjerne, der kan trænes til at udføre specifikke opgaver ved at analysere store mængder data.

"Så vidt vi ved, der er ingen eller meget få tidligere undersøgelser af brugen af ​​maskinlæringsmetoder til digital rekonstruktion af kunstværker, " sagde van der Lubbe. "Det er den centrale idé, der driver vores forskning og brugen af ​​maskinlæring til at rekonstruere kunstværker. Fra tidligere undersøgelser, hvor vi har overvejet forskellige maskinlæringsalgoritmer, Convolutional neural network (CNN) tilgange virkede mest lovende."

I deres undersøgelse, forskerne trænede specifikt et CNN til digitalt at rekonstruere falmede Van Gogh-tegninger på papir. Algoritmen blev trænet på et datasæt indeholdende reproduktioner af de originale tegninger af varierende kvalitet, lavet på forskellige tidspunkter i det sidste århundrede.

"De eksempler, vi brugte i vores undersøgelse, er reproduktioner af Van Gogh-tegninger, hvor indholdet og farven er falmet mindre alvorligt, dermed er de tættere på den originale tegning lavet af Van Gogh, " sagde van der Lubbe. "Vi fik de originale tegninger og reproduktioner fra Van Gogh-museets samling."

Ud over at afsløre, hvordan tegninger så ud i fortiden, den tilgang, der blev foreslået af van der Lubbe og hans kolleger, kunne hjælpe kunsthistorikere med at identificere passende konserverings- og restaureringsstrategier for kunstværker, samt effektiv praksis for bevaring og fremvisning af kunstværker.

Forskerne evaluerede deres model i en række eksperimenter og fandt ud af, at den opnåede bemærkelsesværdige resultater. Deres resultater fremhæver gennemførligheden af ​​at bruge maskinlæring til forudsigelig rekonstruktion af forringede billeder, dokumenter og kunstværker. Selvom forskerne specifikt brugte deres model til at rekonstruere Van Goghs tegninger, det kunne også anvendes på andre forringede kunstværker på papir eller på 1800-tallets manuskripter.

"Vi opnåede bedre resultater for den digitale rekonstruktion af Van Gogh-tegninger end dem, der hidtil er opnået med andre metoder, " sagde van der Lubbe. "Selvfølgelig, Van Gogh var kun en test eller et eksempel. Vores teknik kan også strække sig ud over Van Goghs tegninger til tegninger af andre kunstnere, malerier og gamle dokumenter."

I fremtiden, værktøjet udviklet af van der Lubbe og hans kolleger kunne hjælpe kunsthistorikere med at skabe realistiske rekonstruktioner af kunstværker, der ellers ville blive fuldstændig forringet. I deres nylige undersøgelse, forskerne fokuserede på én tegning ad gangen, træne deres CNN på et begrænset antal reproduktioner. Imidlertid, modellen kunne også bruges til at forudsige, hvordan den originale tegning så ud baseret på en langt større mængde reproduktioner.

Ud over, denne teknik fungerer i øjeblikket ved at analysere visuel information. I deres næste studier, forskerne vil gerne undersøge, om man analyserer både visuel og kemi-relateret information (f.eks. sammensætningen af ​​blækket og dets nedbrydningshastighed) kan forbedre modellens ydeevne.

"I denne undersøgelse, vi havde en forringet nutidstegning, " sagde van der Lubbe. "Vi føler, at det også ville være en stor udfordring at rekonstruere den originale tegning, især i tilfælde, hvor originalen ikke er tilgængelig eller er forsvundet, således har vi kun reproduktioner fra fortiden."

© 2019 Science X Network