Gør det nemmere at omdanne freeform 2-D skitsering til 3-D modeller

En ny beregningsmetode, bygget på datadrevne teknikker, gør det muligt at omdanne simpel 2-D skitse til en realistisk 3-D form, med lidt eller ingen brugerinput nødvendig.

Et globalt team af dataloger fra University of Hong Kong, Microsoft og University of British Columbia, har udviklet en ny ramme, ved at kombinere CNN'er, eller konvolutionelle neurale netværksteknikker, med geometriske inferensmetoder til at beregne skitser og deres tilsvarende 3D-former, hurtigere og mere intuitivt end eksisterende metoder.

"Vores værktøj kan bruges af kunstnere til hurtigt og nemt at tegne friformede former, der kan tjene som basisformer og forfines yderligere med avanceret modelleringssoftware, " siger Hao Pan, forsker hos Microsoft Research Asia, der ledede arbejdet. "Begyndere kan også bruge det som et tilgængeligt værktøj til at lave stilfuldt indhold til deres 3-D-kreationer og virtuelle verdener."

Den nye metode bygger på teamets tidligere skitsebaserede 3-D-modelleringsarbejde – BendSketch:Modeling Freeform Surfaces through 2-D Sketching – en rent geometrisk-baseret metode, som kræver kommenterede skitse-input. Tilføjer Pan, "Vi ønsker at udvikle en metode, der både er intelligent - i den forstand at kræve så få brugerinput som muligt og at udføre alle nødvendige konklusioner automatisk, og generisk – så vi ikke behøver at træne en ny maskinlæringsmodel for hver specifik objektkategori."

Pans samarbejdspartnere Changjian Li og Wenping Wang ved University of Hong Kong; Yang Liu og Xin Tong hos Microsoft Research Asia; og Alla Sheffer ved University of British Columbia, vil præsentere på SIGGRAPH Asia 2018 i Tokyo 4. december til 7. december. Den årlige konference byder på de mest respekterede tekniske og kreative medlemmer inden for computergrafik og interaktive teknikker, og fremviser førende forskning inden for videnskab, kunst, spil og animation, blandt andre sektorer.

Det er en udfordring at nemt, automatisk transformere en sparsom, ufuldkommen 2-D-skitse til en robust 3-D-form. Den vigtigste udfordring, som forskerne behandlede i dette arbejde, er den betydelige informationsforskel, der præsenteres mellem stadierne i 'skitse' og '3-D'-modellen. Det er her, kunstneren ville udfylde funktioner såsom bump, bøjer sig, folder, dale, kanter på overfladetegningerne for at skabe et 3-D design. For hver skitse, demonstreret i deres papir, metoden bruger en CNN til at forudsige 3-D overfladepatch.

Forskernes CNN er trænet på et stort datasæt genereret ved at gengive skitser af forskellige 3-D-former ved hjælp af ikke-fotorealistisk linjegengivelse, eller NPR, metode, der automatisk efterligner menneskelig skitsering af frie former – former, inklusive en bamse, en fugl eller en fisk, for eksempel. Forskerne validerede deres nye tilgang, sammenlignede det med eksisterende metoder og evaluerede dets ydeevne. Resultaterne viste, at deres metode giver en ny måde at producere 3-D modellering fra 2-D skitser på en brugervenlig og mere robust måde.

Et eksempel, inkluderet i deres papir, involverede nybegyndere, der blev testet på den nye metode. Brugerne har ringe viden eller træning om skitsering eller 3-D modellering. De fik en 20-minutters træningsdemo om den nye metode. De blev derefter bedt om at skabe tre målformer - fugl, bamse og delfin - af varierende kompleksitet. Brugerne formåede at fuldføre opgaverne, fra kun 5 minutter til 20 minutter i alt. Som nævnt i avisen, nybegyndere fandt skitserne nemme at lave ved hjælp af forskernes værktøj, og nogle ville også udforske med det mere.

I det fremtidige arbejde, forskerne har til hensigt at udforske flere muligheder og udvidelser af deres algoritme. For eksempel, i øjeblikket modellerer deres metode en overfladelap hver gang ved at skitsere i udsigt, men det ville være fordelagtigt at kunne modellere en komplet form ved at skitsere både for- og baglapper i en enkelt visning. De håber også at forbedre værktøjet, så han kan håndtere modellering i flere skalaer, så store former og detaljer i fint niveau let kan skitseres.