En ny algoritme muliggør mere realistiske lydeffekter i VR

Når vi ser film eller spiller videospil, de rigtige lydeffekter kan hjælpe med at gøre scenerne mere realistiske:Når en griset gambler ruller en sølvdollar hen over et kortbord i en salon med sølvskærm, lyden ser ud til at bevæge sig fra øre til øre, et trick, filmskabere kan opnå ved at splejse en forudindspillet lyd, der bevæger sig fra højttaler til højttaler.

Men at skabe sådanne sensationer i virtual reality har hidtil været praktisk talt umuligt, fordi VR er unscripted. Det er svært at forudsige, hvilke lyde et objekt kan lave, eller hvor de kan blive hørt. For at få VR til at lyde realistisk, ingeniører ville være nødt til at skabe et stort antal "lydmodeller" - de computeriserede ækvivalenter til præ-optagelser. Hver lydmodel ville gøre det muligt for VR-systemet at syntetisere en bestemt lyd i det præcise øjeblik, det var nødvendigt. Indtil nu ville det have taget en klynge af computere mange timer at skabe selv en enkelt lydmodel, og da mange forskellige modeller ville være nødvendige for at syntetisere mange forskellige potentielle lyde, at skabe realistisk lyd i interaktive miljøer har været et uhåndgribeligt mål.

Nu har dataloger ved Stanford opfundet en algoritme, der kan skabe lydmodeller på få sekunder, hvilket gør det omkostningseffektivt at simulere lyde for mange forskellige objekter i et virtuelt miljø. Når der sker en handling, der kræver en lyd, denne nye model kan syntetisere en lyd, der er lige så realistisk som de lyde, der genereres af fortidens meget langsommere og stadig eksperimentelle algoritmer. "At gøre det lettere at skabe modeller gør det praktisk at bygge interaktive miljøer med realistiske lydeffekter, " sagde Doug James, en professor i datalogi med en høflighedsansættelse i musik.

Tidligere algoritmer til at skabe lydmodeller var baseret på arbejde udført af 1800-tallets videnskabsmand Hermann von Helmholtz, som gav sit navn til en ligning, der beskriver, hvordan lyde forplanter sig. Baseret på denne teoretiske underbygning, videnskabsmænd designede algoritmer til at skabe 3-D lydmodeller:softwarerutiner, der er i stand til at syntetisere lyd, der virker realistisk, fordi lydstyrken og retningen af ​​lyden ændrer sig afhængigt af, hvor handlingen finder sted i forhold til lytteren. Indtil nu har de bedste algoritmer til at skabe 3D-lydmodeller været afhængige af grænseelementmetoden (BEM), en langsom proces, der bare var for dyr til kommerciel brug.

James og hans kandidatstuderende samarbejdspartner, Jui-Hsien Wang, udviklet en algoritme, der beregner lydmodeller hundredvis til tusindvis af gange hurtigere ved at undgå Helmholtz-ligningen og BEM. Deres tilgang er inspireret af det 20. århundredes østrigske komponist Fritz Heinrich Klein, som fandt en måde at blande rigtig mange klavertoner og toner til en enkelt, behagelig lyd kendt som Mother Chord. Forskerne - der navngav deres algoritme KleinPAT i et nik til hans inspiration - forklarer, hvordan deres tilgang skaber lydmodeller i en videnskabelig artikel, de præsenterer på ACM SIGGRAPH 2019-konferencen om computergrafik og interaktive teknikker. "Vi mener, at dette er en game changer for interaktive miljøer, " sagde James.