Dybt neuralt netværk genererer realistiske karakter-scene-interaktioner

En vigtig del af at bringe 3D-animerede karakterer til live er evnen til at skildre deres fysiske bevægelser naturligt i enhver scene eller miljø.

At animere karakterer til naturligt at interagere med objekter og miljøet kræver syntetisering af forskellige typer bevægelser på en kompleks måde, og sådanne bevægelser kan være meget forskellige, ikke kun i deres stillinger, men også i deres varighed, kontakt mønstre, og mulige overgange. Til dato, de fleste maskinlæringsbaserede metoder til brugervenlig karakterbevægelseskontrol har været begrænset til enklere handlinger eller enkelte bevægelser, som at befale en animeret karakter at flytte fra et punkt til det næste.

Dataloger fra University of Edinburgh og Adobe Research, virksomhedens team af forskere og ingeniører, der former idéer i tidlige stadier til innovative teknologier, har udviklet en roman, datadrevet teknik, der bruger dybe neurale netværk til præcist at guide animerede karakterer ved at udlede en række forskellige bevægelser - siddende i stole, samle genstande op, løb, sidespring, klatre gennem forhindringer og gennem døråbninger – og opnår dette på en brugervenlig måde med enkle kontrolkommandoer.

Forskerne vil demonstrere deres arbejde, Neural tilstandsmaskine til karakter-scene-interaktioner, hos ACM SIGGRAPH Asia, afholdt 17. til 20. november i Brisbane, Australien. SIGGRAPH Asien, nu i sit 12. år, tiltrækker de mest respekterede tekniske og kreative mennesker fra hele verden inden for computergrafik, animation, interaktivitet, spil, og nye teknologier.

At animere karakter-scene-interaktioner med objekter og miljøet, der er to hovedaspekter - planlægning og tilpasning - at overveje, siger forskerne. Først, for at udføre en given opgave, såsom at sidde i stole eller samle genstande op, karakteren skal planlægge og skifte gennem et sæt forskellige bevægelser. For eksempel, dette kan omfatte at begynde at gå, sænker farten, vende rundt, mens du placerer fødderne nøjagtigt og interagerer med objektet, før du endelig fortsætter til en anden handling. Sekund, karakteren skal naturligt tilpasse bevægelsen til variationer i form og størrelse af objekter, og undgå forhindringer langs dens vej.

"At opnå dette i produktionsklar kvalitet er ikke ligetil og meget tidskrævende. Vores neurale tilstandsmaskine lærer i stedet bevægelsen og de nødvendige tilstandsovergange direkte fra scenegeometrien og en given målhandling, " siger Sebastian Starke, seniorforfatter af forskningen og en ph.d. studerende ved University of Edinburgh i Taku Komuras laboratorium. "Sammen med det vores metode er i stand til at producere flere forskellige typer bevægelser og handlinger i høj kvalitet fra et enkelt netværk."

Ved at bruge motion capture-data, forskernes rammer lærer, hvordan man mest naturligt kan overføre karakteren fra en bevægelse til den næste - for eksempel at kunne træde over en forhindring, der blokerer en døråbning, og så træder ind ad døren, eller hente en kasse og derefter bære den kasse til at stille på et nærliggende bord eller skrivebord.

Teknikken udleder karakterens næste positur i scenen baseret på dens tidligere positur og scenegeometri. En anden nøglekomponent i forskernes rammeværk er, at det gør brugerne i stand til interaktivt at styre og navigere karakteren fra simple kontrolkommandoer. Derudover det er ikke nødvendigt at opbevare alle de originale data, som i stedet bliver kraftigt komprimeret af netværket, samtidig med at det vigtige indhold i animationerne bevares.

"Teknikken efterligner i det væsentlige, hvordan et menneske intuitivt bevæger sig gennem en scene eller et miljø, og hvordan det interagerer med objekter, realistisk og præcist, " siger Komura, medforfatter og formand for computergrafik ved University of Edinburgh.

Ned ad vejen, forskerne har til hensigt at arbejde med andre relaterede problemer inden for datadrevet karakteranimation, inklusive bevægelser, hvor flere handlinger kan forekomme samtidigt, eller animere tætte karakterinteraktioner mellem to mennesker eller endda folkemængder.