Computerforskere udvikler et system til at syntetisere realistiske lyde til computeranimation

Fremskridt inden for computergenererede billeder har givet livlige, realistiske animationer til livet, men de lyde, der er forbundet med det, vi ser, simuleres på skærmen, som to genstande, der støder sammen, er ofte optagelser. Nu har forskere ved Stanford University udviklet et system, der automatisk gengiver præcise lyde til en lang række animerede fænomener.

"Der har været en hellig gral i beregningen af ​​at kunne simulere virkeligheden for mennesker. Vi kan animere scener og gengive dem visuelt med fysik og computergrafik, men, hvad angår lyde, de består normalt, "sagde Doug James, professor i datalogi ved Stanford University. "I øjeblikket findes der ingen måde at generere realistiske synkroniserede lyde til komplekst animeret indhold, såsom stænk af vand eller kolliderende genstande, automatisk. Dette fylder det tomrum. "

Forskerne vil præsentere deres arbejde med dette lydsyntesesystem som en del af ACM SIGGRAPH 2018, den førende konference om computergrafik og interaktive teknikker. Udover at give liv i film og virtual reality -verdener, dette system kan også hjælpe ingeniørvirksomheder med at prototype, hvordan produkter ville lyde, før de blev fysisk produceret, og forhåbentlig opmuntre til designs, der er mere støjsvage og mindre irriterende, sagde forskerne.

"Jeg har brugt år på at forsøge at løse delvise differentialligninger - som styrer, hvordan lyd formerer sig - i hånden, "sagde Jui-Hsien Wang, en kandidatstuderende i James 'lab og i Institute for Computational and Mathematical Engineering (ICME), og hovedforfatter af papiret. "Dette er faktisk et sted, hvor du ikke bare løser ligningen, men du faktisk kan høre det, når du har gjort det. Det er virkelig spændende for mig, og det er sjovt."

Forudsiger lyd

Informeret af geometri og fysisk bevægelse, systemet regner ud vibrationer for hvert objekt, og hvordan, som en højttaler, disse vibrationer ophidser lydbølger. Det beregner trykbølgerne, der udledes af hurtigt bevægelige og vibrerende overflader, men replikerer ikke rumakustik. Så, selvom det ikke genskaber ekkoerne i en stor katedral, det kan løse detaljerede lyde fra scenarier som en crashende bækken, en opadvendt skål, der snurrer til et stop, et glas, der fyldes med vand eller en virtuel karakter, der taler ind i en megafon.

De fleste lyde forbundet med animationer er afhængige af forudindspillede klip, som kræver omfattende manuel indsats for at synkronisere med handlingen på skærmen. Disse klip er også begrænset til støj, der findes - de kan ikke forudsige noget nyt. Andre systemer, der producerer og forudsiger lyde lige så præcise som James og hans team, fungerer kun i særlige tilfælde, eller antag at geometrien ikke deformeres særlig meget. De kræver også en lang forberegningsfase for hvert separat objekt.

"Vores er i det væsentlige bare en gengivelsesknap med minimal forbehandling, der behandler alle objekter sammen i en akustisk bølgesimulering, "sagde Ante Qu, en kandidatstuderende i James 'lab og medforfatter af papiret.

Den simulerede lyd, der er resultatet af denne metode, er meget detaljeret. Den tager højde for lydbølgerne produceret af hvert objekt i en animation, men forudsiger også, hvordan disse bølger bøjer, hoppe eller dæmpe baseret på deres interaktioner med andre objekter og lydbølger i scenen.

Udfordringer forude

I sin nuværende form, gruppens proces tager et stykke tid at skabe det færdige produkt. Men, nu hvor de har bevist denne tekniks potentiale, de kan fokusere på effektivitetsoptimeringer, såsom implementering af deres metode på parallel GPU -hardware, det burde gøre det drastisk hurtigere.

Og, selv i sin nuværende tilstand, resultaterne er ventetiden værd.

"De første vandlyde, vi genererede med systemet, var blandt de bedste, vi havde simuleret-og vand er en kæmpe udfordring i computergenereret lyd, "sagde James." Vi troede, vi kunne få en lille forbedring, men det er dramatisk bedre end tidligere tilgange, selv lige ud af kassen. Det var virkelig slående. "

Selvom gruppens arbejde trofast har gengivet lyde af forskellige objekter, der snurrer, falder og slår ind i hinanden, mere komplekse genstande og interaktioner - ligesom de efterklangstoner, en Stradivarius -violin - stadig er vanskelige at modellere realistisk. At, gruppen sagde, bliver nødt til at vente på en fremtidig løsning.