En ny tilgang til at opdage visuelle mønstre i kunstsamlinger

Forskere ved UC Berkeley og Ecole des Ponts Paris Tech har for nylig udviklet en dyb læringstilgang til at opdage tilbagevendende visuelle mønstre i kunstsamlinger. Deres papir, forudgivet på arXiv, vil blive præsenteret på CVPR 2019, en berømt computer vision begivenhed i juni.

Selvom hvert kunstværk kan virke unikt, kunstnere bruger ofte tilbagevendende visuelle elementer eller motiver (f.eks. engle, vindmøller, etc.). For eksempel, kritikere mener, at nogle malerier af den flamske maler Jan Brueghel blot var efterligninger eller tilpasninger af hans egne værker, såvel som hans fars, Pieter Breughel.

I deres forskning, kunsthistorikere forsøger ofte at kortlægge visuelle forbindelser mellem forskellige kunstværker, da dette kunne kaste lidt lys over deres herkomst og forfatterskab. Imidlertid, at afdække lignende visuelle mønstre i store kunstsamlinger kan være meget udfordrende for både mennesker og maskiner.

"Vi startede dette projekt efter en præsentation og diskussion med en kunsthistoriker, Elizabeth Honig, hvor hun præsenterede sådanne korrespondancer, og hvorfor de var vigtige for hende i hendes studie af Brueghel-værker, " Mathieu Aubry, en af ​​de forskere, der har udført undersøgelsen, fortalte TechXplore. "Vores første mål var at gøre arbejdet for kunsthistorikere lettere og mere skalerbart ved automatisk at identificere detaljer i digitale billedsamlinger, der blev kopieret direkte mellem forskellige værker, på trods af små modifikationer og forskelle i repræsentationens stil (f.eks. gravering, maleri, tegning, etc.)."

I deres nylige undersøgelse, Aubry og hans kolleger foreslog en tilgang, der automatisk kan opdage tilbagevendende visuelle mønstre i store kunstsamlinger. I det væsentlige, de trænede en uovervåget maskinlæringsmodel til at finde overensstemmelser mellem næsten duplikerede visuelle elementer på tværs af forskellige kunstværker.

"Den vigtigste nyhed i vores tilgang er at lære, uden menneskelig opsyn, en deep image descriptor specifikt tilpasset til vores opgave:matchende nøjagtige kopier på tværs af forskellige repræsentationsstile, " Aubry forklarede. "For at gøre det, vi introducerer en procedure, der validerer kandidatkorrespondancer ved hjælp af rumlig overensstemmelse mellem nabokampe."

Forskerne brugte den rumlige konsistens mellem tilstødende funktionsmatches som et superviserende finjusteringssignal. Denne tilpassede funktion fører til mere nøjagtig stil-invariant matchning. Kombineret med en standard opdagelsestilgang baseret på geometrisk verifikation, funktionen tillader deres dybe læringstilgang at identificere duplikerede mønstre i store kunstdatasæt.

"Vores CVPR-arbejde fokuserede på computersynsaspekterne. Samarbejde med kunsthistorikere for at anvende den metode, vi udviklede til at analysere kunstsamlinger, er stadig i gang, "Aubry sagde. "Vi tror, ​​at det virkelig vil ændre både omfanget og den type undersøgelse, kunsthistorikere vil udføre, ved at give dem mulighed for at lede efter og analysere sammenhænge mellem kunstværker i meget større skala. Ja, når du forsøger at kommentere forbindelser for blot nogle få detaljer på et mellemstort datasæt, vi så på egen hånd, hvor kedelig og dyr sådan en proces var at udføre manuelt."

Aubry og hans kolleger evaluerede deres metode på flere datasæt, inklusive Oxford5K-fotodatasættet og et nyligt kommenteret datasæt af kunstværker tilskrevet Brueghel-familien. I disse evalueringer, deres tilgang opnåede bemærkelsesværdige resultater, udkonkurrere andre state-of-the-art teknikker til at afdække visuelle mønstre i kunstværker. Ud over, deres tilgang opnåede state-of-the-art ydeevne på datasættet Large Time Gap Location, effektivt at lokalisere historiske arkitekturfotografier og moderne.

I fremtiden, den dybe læringstilgang, som Aubry og hans kolleger har udtænkt, kunne hjælpe kunsthistorikere med at opdage visuelle mønstre på tværs af store kunstsamlinger. Ifølge forskerne, deres tilgang kan også nemt overføres til andre problemer, såsom geo-lokalisering og historisk vandmærke-genkendelse.

"Vi ønsker at skubbe anvendelsen af ​​vores tilgang inden for humaniora, ved at arbejde direkte med kunsthistorikere for at tilpasse vores metode til deres specifikke behov og hjælpe dem med at bruge den, "Aubry sagde. "Vi planlægger også at arbejde på at udvide ideen om at udnytte redundans og rumlig konsistens i dyb læring til forskellige typer billeder og forskellige typer applikationer."

© 2019 Science X Network