AI-værktøj karakteriserer en sanggenre og giver indsigt i perceptionsmusik

Lil Nas X's rekordindstilling, Hittet "Old Town Road" er i sandhed country. Men det er også lidt rock'n roll. Og når du analyserer teksterne og akkorderne sammen, det er direkte pop.

I det mindste, det er ifølge et kunstig intelligens-værktøj udviklet af USC datalogi Ph.D. studerende Timothy Greer. Greers metode forudsiger automatisk musikgenrer ved at analysere, hvordan tekster og akkorder interagerer med hinanden gennem sangen.

Metoden klassificerede "Old Town Road" som land ifølge teksten; rock i henhold til akkorderne (baseret på en Nine Inch Nails-musikprøve); og pop efter de kombinerede akkorder og tekster.

Papiret, med titlen "Brug af delte vektorrepræsentationer af ord og akkorder i musik til genreklassificering, " vil blive præsenteret ved talen, Music and Mind 2019-konference den 14. september.

En meget menneskelig oplevelse

"Old Town Road er en interessant sang, " sagde Greer, en livslang musiker, der i øjeblikket spiller saxafon og keyboard i et LA-baseret band (musikgenre:Indie rock).

"Sangteksterne er gennemsyret af countrygenren, men akkorderne og instrumenteringen lyder slet ikke som country. Algoritmen fremhæver kompleksiteten af ​​musik, både i forhold til hvordan musikken er opbygget og hvordan den opfattes, med andre ord, hvordan folk behandler det."

Denne indsats inden for musikforskning - at beregne de historier, vi fortæller med den, og hvordan folk oplever og bliver påvirket af det - er en del af et større forskningsprogram i Computational Media Intelligence ved USC Signal Analysis and Interpretation Laboratory (SAIL) (SAIL).

"Musikkonstruktion og perception hænger sammen, men de er ikke en og samme, " sagde Greers vejleder og papirmedforfatter Shrikanth Narayanan.

Narayanan, SAIL direktør og Niki og Max Nikias formand og professor i elektro- og computerteknik, har tidligere analyseret vokalmønstre hos beatboxere og operasangere ved hjælp af MR-scanninger, forudsagte voldsvurderinger ved hjælp af filmmanuskripter og udviklet teknologi, der bruger stemme til at vurdere højttalerens følelser. Han sagde, at han er begejstret for denne nye forskning, fordi det er en ny måde at analysere musik på og kan afsløre uventede mønstre.

"Vi siger altid, at der ikke er nogen faste regler for menneskelige oplevelser af musik, " sagde Narayanan, en klassisk musikentusiast, der spiller på det indiske strengeinstrument veena og violin. "AI og maskinlæring kan give en linse, hvorfra man kan se på denne meget menneskelige oplevelse."

En ny lyd

"Den gamle byvej, "som nu har ligget øverst på hitlisterne i 18 uger, har været bemærkelsesværdig for sin genre-blandingskarakteristik. Som et af de mest omdiskuterede emner i popverdenen denne sommer, alle synes at have en anden mening - er det land, pop, klippe? Eller noget helt andet?

I april 2019, sangen blev fjernet fra Billboard Hot Country-hitlisten, fordi den "ikke omfavnede nok elementer af nutidens countrymusik til at chartre i sin nuværende version, " ifølge en Billboard-erklæring.

Greer satte sangen på prøve med tre modeller, han havde udviklet til at forudsige genre:ved kun at bruge akkordindlejringer, kun lyrik-indlejringer og brug af akkord-og-lyrik-indlejringer kombineret. Han trænede systemet på et datasæt med 190, 165 musikalske afsnit fra 5, 304 popsange med tekster og tilhørende akkorder.

Mens de fleste genreforudsigelsesværktøjer bruger hele en sangs lydfil, hvilket betyder at hente og behandle en optagelse af høj kvalitet, Greers metode kan klassificere genre ved kun at bruge akkorder og tekster, som normalt er tilgængelige online med en hurtig Google-søgning.

"Dette samspil mellem akkordsekvenser og lyriske sekvenser kan give os et bedre indblik i, hvordan vi opfatter genre end at bruge begge alene, selvom begge disse modaliteter indeholder nyttig information alene, såvel, sagde Greer.

Undersøgelsen giver en bedre forståelse af, hvordan vi opfattede og behandler musik, specifikt forskellene i menneskelig musikopfattelse - og kategorisering - af musikgenre afhængigt af det anvendte "looking glass".

Applikationer omfatter, hvordan musikindhold markedsføres, forbrugt og mærket; neuropsykologi og den menneskelige tankes mekanismer; og affektive computersystemer, der påvirker menneskelige følelser.