Brug matematik til at blande musiknoter problemfrit

I musik, "portamento" er et begreb, der har været brugt i hundredvis af år, henviser til effekten af ​​at glide en note ved en tonehøjde ind i en note med en lavere eller højere tonehøjde. Men kun instrumenter, der kontinuerligt kan variere i tonehøjde - såsom den menneskelige stemme, strengeinstrumenter, og tromboner - kan trække effekten ud.

Nu har en MIT-studerende opfundet en ny algoritme, der producerer en portamento-effekt mellem to lydsignaler i realtid. I forsøg, algoritmen flettede problemfrit forskellige lydklip, såsom en klavernote, der glider ind i en menneskelig stemme, og en sang blander sig i en anden. Hans oplæg, der beskriver algoritmen, vandt prisen "bedste studerende papir" på den seneste internationale konference om digitale lydeffekter.

Algoritmen er afhængig af "optimal transport, "en geometri-baseret ramme, der bestemmer de mest effektive måder at flytte objekter-eller datapunkter-mellem flere oprindelses- og destinationskonfigurationer. Formuleret i 1700'erne, rammen er blevet anvendt på forsyningskæder, væskedynamik, billedjustering, 3D-modellering, computer grafik, og mere.

I arbejde, der stammer fra et klasseprojekt, Trevor Henderson, nu kandidatstuderende i datalogi, anvendt optimal transport til at interpolere lydsignaler - eller blande et signal til et andet. Algoritmen opdeler først lydsignalerne i korte segmenter. Derefter, den finder den optimale måde at flytte pitchene i hvert segment til pitcher i det andet signal, at producere den glatte glid af portamento -effekten. Algoritmen indeholder også specialiserede teknikker til at opretholde lydsignalets troværdighed, når det overgår.

"Optimal transport bruges her til at bestemme, hvordan man kortlægger pladser i en lyd til pladserne i den anden, "siger Henderson, en klassisk uddannet organist, der udfører elektronisk musik og har været DJ på WMBR 88.1, MITs radiostation. "Hvis det omdanner en akkord til en akkord med en anden harmoni, eller med flere noter, for eksempel, noterne vil dele sig fra den første akkord og finde en position at sømløst glide til i den anden akkord. "

Ifølge Henderson, dette er en af ​​de første teknikker til at anvende optimal transport til at transformere lydsignaler. Han har allerede brugt algoritmen til at bygge udstyr, der problemfrit overgår mellem sange i sit radioprogram. DJs kunne også bruge udstyret til at skifte mellem numre under liveopførelser. Andre musikere kan bruge det til at blande instrumenter og stemme på scenen eller i studiet.

Hendersons medforfatter på papiret er Justin Solomon, en X-Consortium Career Development Assistant Professor i Institut for Elektroteknik og Datalogi. Solomon - der også spiller cello og klaver - leder gruppen for geometrisk databehandling i Computer Science and Artificial Intelligence Laboratory (CSAIL) og er medlem af Center for Computational Engineering.

Henderson tog Salomons klasse, 6.838 (formanalyse), som opgaver eleverne med at anvende geometriske værktøjer som optimal transport til virkelige applikationer. Elevprojekter fokuserer normalt på 3D-former fra virtual reality eller computergrafik. Så Hendersons projekt kom som en overraskelse for Solomon. "Trevor så en abstrakt forbindelse mellem geometri og bevægelse af frekvenser rundt i lydsignaler for at skabe en portamento -effekt, "Salomon siger." Han var ind og ud af mit kontor hele semesteret med DJ -udstyr. Det var ikke, hvad jeg forventede at se, men det var ret underholdende. "

For Henderson, det var ikke for meget af en strækning. "Når jeg ser en ny idé, Jeg spørger, "Er dette gældende for musik?" "Siger han." Så, da vi talte om optimal transport, Jeg spekulerede på, hvad der ville ske, hvis jeg sluttede det til lydspektre. "

En god måde at tænke på optimal transport, Henderson siger, er at finde "en doven måde at bygge et sandslot på." I den analogi, rammen bruges til at beregne måden at flytte hvert sandkorn fra sin position i en formløs bunke til en tilsvarende position i et sandslot, bruge så lidt arbejde som muligt. I computergrafik, for eksempel, optimal transport kan bruges til at transformere eller omforme former ved at finde den optimale bevægelse fra hvert punkt på den ene form til den anden.

Anvendelse af denne teori på lydklip indebærer nogle yderligere ideer fra signalbehandling. Musikinstrumenter producerer lyd gennem vibrationer af komponenter, afhængigt af instrumentet. Violiner bruger strenge, messinginstrumenter bruger luft inde i hule kroppe, og mennesker bruger stemmebånd. Disse vibrationer kan registreres som lydsignaler, hvor frekvensen og amplituden (spidshøjden) repræsenterer forskellige tonehøjder.

Konventionelt, overgangen mellem to lydsignaler sker med en fade, hvor det ene signal reduceres i volumen, mens det andet stiger. Hendersons algoritme, på den anden side, glider frekvenssegmenter jævnt fra et klip til et andet, uden falmning af volumen.

For at gøre det, algoritmen opdeler to lydklip i vinduer på cirka 50 millisekunder. Derefter, den kører en Fourier -transformation, som gør hvert vindue til dets frekvenskomponenter. Frekvenskomponenterne i et vindue klumpes sammen til individuelle syntetiserede "noter". Optimal transport kortlægger derefter, hvordan noterne i det ene signals vindue vil bevæge sig til noterne i det andet.

Derefter, en "interpolationsparameter" tager over. Det er dybest set en værdi, der bestemmer, hvor hver note vil være på stien fra dens starthøjde i det ene signal til dets sluthøjde i den anden. Manuel ændring af parameterværdien vil feje tonehøjderne mellem de to positioner, frembringer portamento -effekten. Denne enkelt parameter kan også programmeres til og styres af, sige, en krydsfader, en skyderkomponent på et DJs mixerbræt, der jævnt falmer mellem sangene. Når krydsfader glider, interpolationsparameteren ændres for at producere effekten.

Bag kulisserne er to innovationer, der sikrer et forvrængningsfrit signal. Først, Henderson brugte en ny anvendelse af en signalbehandlingsteknik, kaldet "frekvensomfordeling, "der klumper frekvensbakkerne sammen for at danne enkeltnoter, der let kan skifte mellem signaler. For det andet, han opfandt en måde at syntetisere nye faser for hvert lydsignal, mens han syede vinduerne på 50 millisekunder sammen, så nabovinduer forstyrrer ikke hinanden.

Næste, Henderson ønsker at eksperimentere med at fodre effekten af ​​effekten tilbage i dens input. Det her, han tænker, kunne automatisk oprette en anden klassisk musikeffekt, "legato, "som er en jævn overgang mellem forskellige noter. I modsætning til en portamento - som spiller alle toner mellem en start- og slutnote - overgår en legato problemfrit mellem to forskellige noter, uden at fange nogen noter imellem.

Denne historie er genudgivet med tilladelse fra MIT News (web.mit.edu/newsoffice/), et populært websted, der dækker nyheder om MIT -forskning, innovation og undervisning.