AI-baseret ramme skaber realistiske teksturer i den virtuelle verden

Mange designere til den virtuelle verden finder det udfordrende at designe effektivt troværdige komplekse teksturer eller mønstre i stor skala. Ja, såkaldt "tekstursyntese, "designet af nøjagtige teksturer såsom vandbølger i en flod, betonvægge, eller mønstre af blade, er stadig en vanskelig opgave for kunstnere. Et væld af ikke-stationære teksturer i den "virkelige verden" kunne genskabes i gaming eller virtuelle verdener, men de eksisterende teknikker er kedelige og tidskrævende.

For at løse denne udfordring, et globalt team af dataloger har udviklet en unik kunstig intelligens-baseret teknik, der træner et netværk til at lære at udvide små teksturer til større. Forskernes datadrevne metode udnytter en AI-teknik kaldet generative adversarial networks (GAN'er) til at træne computere til at udvide teksturer fra en prøvepatch til større forekomster, der bedst ligner den originale prøve.

"Vores tilgang behandler med succes ikke-stationære teksturer uden nogen høj niveau eller semantisk beskrivelse af den store struktur, " siger Yang Zhou, hovedforfatter af værket og en assisterende professor ved Shenzhen University og Huazhong University of Science &Technology. "Den kan klare meget udfordrende teksturer, hvilken, til vores viden, ingen anden eksisterende metode kan håndtere. Resultaterne er realistiske design produceret i høj opløsning, effektivt, og i meget større skala."

Det grundlæggende mål med eksempelbaseret tekstursyntese er at generere en tekstur, normalt større i størrelse end inputtet, der nøje fanger de visuelle egenskaber ved prøveinputtet - men dog ikke helt identisk med det - og bevarer et realistisk udseende. Eksempler på ikke-stationære teksturer omfatter teksturer med uregelmæssige strukturer i stor skala, eller dem, der udviser rumlig varians i visse attributter, såsom farve, lokal orientering, og lokal skala. I avisen, forskerne testede deres metode på så komplekse eksempler som påfuglefjer og krusninger af træstammer, som tilsyneladende er uendelige i deres gentagne mønstre.

Zhou og hans samarbejdspartnere, herunder Zhen Zhu og Xiang Bai (Huazhong University), Dani Lischinski (Det Hebraiske Universitet i Jerusalem), Daniel Cohen-Or (Shenzhen University og Tel Aviv University), og Hui Huang (Shenzhen University), vil præsentere deres arbejde på SIGGRAPH 2018, afholdt 12-16 august i Vancouver, Britisk Columbia. Denne årlige samling viser verdens førende fagfolk, akademikere, og kreative sind på forkant med computergrafik og interaktive teknikker.

Deres metode går ud på at træne et generativt netværk, kaldet generator, at lære at udvide (dvs. dobbelt den rumlige udstrækning af) en vilkårlig teksturblok beskåret fra et eksemplar, så det udvidede resultat visuelt ligner en indeholdende eksemplarisk blok af den passende størrelse (to gange større). Den visuelle lighed mellem den automatisk udvidede blok og den faktiske indeholdende blok vurderes ved hjælp af et diskriminerende netværk (diskriminator). Som typisk for GAN'er, diskriminatoren trænes parallelt med generatoren til at skelne mellem faktiske store blokke fra eksemplet og dem, der produceres af generatoren.

siger Zhou, "Utroligt nok, vi fandt ud af, at ved at bruge så begrebsmæssigt simpelt, selvovervåget modstridende træningsstrategi, det trænede netværk fungerer næsten perfekt på en bred vifte af teksturer, inklusive både stationære og meget ikke-stationære teksturer."

Værktøjet er beregnet til at hjælpe teksturkunstnere i videospildesign, Virtual reality, og animation. Når den selvovervågede modstridende træning finder sted for hver given teksturprøve, rammen kan bruges til automatisk at generere udvidede teksturer, op til det dobbelte af den oprindelige prøvestørrelse. Ned ad vejen, forskerne håber, at deres system faktisk vil være i stand til at udtrække information på højt niveau af teksturer på en uovervåget måde.

Derudover i det fremtidige arbejde, holdet har til hensigt at træne en "universel" model på et storstilet teksturdatasæt, samt øge brugerkontrollen. For teksturkunstnere, kontrolleret syntese med brugerinteraktion vil sandsynligvis være endnu mere nyttig, da kunstnere har en tendens til at manipulere teksturerne til deres eget design.

For hele papiret og videoen, besøg teamets projektside.