Er det en gyserfilm eller en rom-com? AI kan forudsige udelukkende baseret på musik

Musik er et uundværligt element i film:den etablerer atmosfære og stemning, driver seerens følelsesmæssige reaktioner og påvirker i høj grad publikums fortolkning af historien.

I et nyligt papir offentliggjort i PLOS ONE , et forskerhold ved USC Viterbi School of Engineering, ledet af professor Shrikanth Narayanan, forsøgte objektivt at undersøge musikkens effekt på filmiske genrer. Deres undersøgelse havde til formål at afgøre, om AI-baseret teknologi kunne forudsige genren af ​​en film baseret på soundtracket alene.

"Ved bedre at forstå, hvordan musik påvirker seerens opfattelse af en film, får vi indsigt i, hvordan filmskabere kan nå deres publikum på en mere overbevisende måde," sagde Narayanan, universitetsprofessor og Niki og Max Nikias Chair in Engineering, professor i elektrisk og computerteknik og datalogi og direktør for USC Viterbis Signal Analysis and Interpretation Laboratory (SAIL).

Forestillingen om, at forskellige filmgenrer er mere tilbøjelige til at bruge visse musikalske elementer i deres soundtrack, er ret intuitiv:en lethjertet romantik kan omfatte rige strygepassager og frodige, lyriske melodier, mens en gyserfilm i stedet kan indeholde foruroligende, gennemtrængende frekvenser og uhyggeligt uenige toner .

Men mens tidligere arbejde kvalitativt indikerer, at forskellige filmgenrer har deres egne sæt af musikalske konventioner - konventioner, der får den romantiske film til at lyde anderledes end den gyserfilm - satte Narayanan og teamet sig for at finde kvantitative beviser for, at elementer af en films soundtrack kunne bruges til at karakterisere filmens genre.

Narayanan og teams undersøgelse var den første til at anvende deep learning-modeller til musikken, der blev brugt i en film for at se, om en computer kunne forudsige genren af ​​en film baseret på soundtracket alene. De fandt ud af, at disse modeller var i stand til præcist at klassificere en films genre ved hjælp af maskinlæring, hvilket understøttede forestillingen om, at musikalske funktioner kan være stærke indikatorer for, hvordan vi opfatter forskellige film.

Ifølge Timothy Greer, ph.d. studerende ved USC Viterbi i afdelingen for datalogi, som arbejdede med Narayanan på undersøgelsen, kunne deres arbejde have værdifulde anvendelser for medievirksomheder og skabere til at forstå, hvordan musik kan forbedre andre former for medier. Det kunne give produktionsselskaber og musikvejledere en bedre forståelse af, hvordan man skaber og placerer musik i tv, film, reklamer og dokumentarfilm for at fremkalde visse følelser hos seerne.

Ud over Narayanan og Greer omfattede forskerholdet til undersøgelsen Dillon Knox, en ph.d. studerende i afdelingen for elektro- og computerteknik, og Benjamin Ma, der dimitterede fra USC i 2021 med en B.S. i datalogi, en kandidatgrad i datalogi og et bifag i musikproduktion. (Ma blev også udnævnt til en af ​​de to 2021 USC Schwarzman Scholars.) Holdet arbejdede inden for Center for Computational Media Intelligence, en forskningsgruppe i SAIL.

Forudsig genre fra soundtrack

I deres undersøgelse undersøgte gruppen et datasæt med 110 populære film udgivet mellem 2014 og 2019. De brugte genreklassificering opført på Internet Movie Database (IMDb) til at mærke hver film som action, komedie, drama, gyser, romantik eller videnskab -fiktion, hvor mange af filmene spænder over mere end én af disse genrer.

Dernæst anvendte de et dybt læringsnetværk, der udtrak den auditive information, såsom klang, harmoni, melodi, rytme og tone fra musikken og partituret i hver film. Dette netværk brugte maskinlæring til at analysere disse musikalske funktioner og viste sig i stand til præcist at klassificere genren af ​​hver film baseret på disse funktioner alene.

Gruppen fortolkede også disse modeller for at bestemme, hvilke musikalske træk der var mest indikativ for forskelle mellem genrer. Modellerne gav ikke nærmere oplysninger om, hvilke typer af noder eller instrumenter, der var forbundet med hver genre, men de var i stand til at fastslå, at tonale og klanglige træk var vigtigst for at forudsige filmens genre.

"At lægge dette grundlag er virkelig spændende, fordi vi nu kan være mere præcise i den slags spørgsmål, vi ønsker at stille om, hvordan musik bruges i film," sagde Knox. "Den overordnede filmoplevelse er meget kompliceret, og det er meget spændende at være i stand til beregningsmæssigt at analysere dens indvirkning og de valg og tendenser, der indgår i dens konstruktion."

Fremtidige rutevejledninger

Narayanan og hans team undersøgte den auditive information fra hver film ved hjælp af en teknologi kendt som lydfingeraftryk, den samme teknologi, der gør det muligt for tjenester som Shazam at identificere sange fra en database ved at lytte til optagelser, selv når der er lydeffekter eller anden baggrundsstøj til stede. Denne teknologi gjorde det muligt for dem at se på, hvor de musikalske signaler sker i en film og hvor længe.

"Ved at bruge lydfingeraftryk til at lytte til al lyden fra filmen fik vi mulighed for at overvinde en begrænsning af tidligere filmmusikstudier, som normalt bare så på filmens hele soundtrack-album uden at vide, om eller hvornår sange fra albummet optræder i filmen, " sagde mor. I fremtiden er gruppen interesseret i at udnytte denne evne til at studere, hvordan musik bruges i bestemte øjeblikke i en film, og hvordan musikalske signaler dikterer, hvordan filmens fortælling udvikler sig i løbet af dens forløb.

"Med den stadigt stigende adgang til både film og musik har det aldrig været mere afgørende at kvantitativt studere, hvordan dette medie påvirker os," sagde Greer. "At forstå, hvordan musik fungerer sammen med andre former for medier, kan hjælpe os med at udtænke bedre seeroplevelser og gøre kunst, der er bevægende og virkningsfuld."