Sammenligning af vestlig og kinesisk klassisk musik ved hjælp af deep learning -algoritmer

Deep learning -teknikker viser sig at være yderst nyttige til analyse af alle former for data, lige fra billeder til tekst, onlineposter og lydoptagelser. Disse teknikker er designet til at identificere mønstre i store datasæt, adskil elementer i forskellige kategorier og gør forudsigelser langt hurtigere end mennesker.

I en nylig undersøgelse, forskere ved Simon Fraser University, Academia Sinica og Dartmouth College har anvendt deep learning -teknikker til at identificere ligheder og forskelle mellem kinesisk og vestlig klassisk musik. Deres papir, forududgivet på arXiv, præsenterer en komparativ analyse af musikoptagelser ved hjælp af modeller for lydhændelsesdetektion (SED) og lydbillede -følelsesgenkendelse (SER).

"Vi har lyttet til både kinesisk og vestlig klassisk musik, "Jianyu Fan, en af ​​forskerne, der gennemførte undersøgelsen, fortalte TechXplore. "Vi føler, at flere faktorer adskiller kinesisk musik fra vestlig musik, herunder deres underliggende kultur, filosofi og tankegang. Derfor er vi meget interesserede i undersøgelser, der sammenligner kinesisk og vestlig musik. "

Deep learning -modeller til analyse af musikoptagelser kan undertiden fungere dårligt, da de kæmper for at lære mønstre i information på højt niveau, såsom en sangen melodi, harmoni, osv. For at overvinde begrænsningerne i tidligere undersøgelser, Fan og hans kolleger anvendte lydbillede -modeller til analysen af ​​kinesisk og vestlig klassisk musik, at evaluere deres effektivitet til at identificere ligheder og forskelle mellem de to undergenrer.

I første omgang, forskerne udarbejdede to kommenterede datasæt indeholdende optagelser af kinesisk og vestlig musik, kaldet WCMED og CCMED. Efterfølgende, de uddannede en foruddannet SED og en foruddannet SER -model på disse datasæt hver for sig, kombinerer dem begge med en understøttelsesvektorregression (SVR) model. SED -modeller er designet til at registrere lydhændelser i lydsignaler, mens SER -modeller er uddannet til at genkende de følelser, lydbilledoptagelser formidler.

"Mens tidligere musikstudier hovedsageligt anvender modeller baseret på musik, vi var nysgerrige efter, om en model, der er uddannet i generelt lydbillede, kan bruges til at analysere musik, og hvordan de er forskellige for kinesisk og vestlig klassisk musik, "Fan forklaret." Derfor, Vi prøvede at bruge to modeller bygget på generel lyd:en model for registrering af lydhændelser og en model for lydbillede følelsesgenkendelse. "

Forskerne brugte transfer-learning-teknikker til at udtrække gengivelser af lyd på højt niveau. De brugte derefter disse repræsentationer til at træne deres musikgenkendelsesgenkendelsesmodel til at opdage følelser formidlet af musikoptagelser. Da deres model var forududdannet til at generalisere lydens egenskaber, de fandt ud af, at disse repræsentationer fungerede bedre, når de blev kombineret med en enklere model, især til analyse af kinesisk klassisk musik. Forskerne trænede også en deep learning classifier om de datasæt, de skabte og gennemførte yderligere analyser med fokus på specifikke træk ved kinesiske og vestlige sange.

"Da vores mål er at bruge præuddannede lydlandskabsmodeller til at analysere og sammenligne kinesisk og vestlig klassisk musik, vi forventede ikke, at modellen ville fungere perfekt til forskellige typer lyd og forskellige typer opgaver, "Fan sagde." Dog, vores resultater tyder på, at det er effektivt til at forudsige ophidselse af både kinesisk og vestlig klassisk musik ved hjælp af lydlandskabsmodeller. "

Resultaterne indsamlet af Fan og hans kolleger antyder, at SED- og SER -modeller er lovende værktøjer til analyse af musikoptagelser. Interessant nok, den sammenlignende analyse af kinesisk og vestlig klassisk musik ved hjælp af disse teknikker førte til resultater, der er i overensstemmelse med ideer præsenteret af musikteoretikere i Kina.

Forskerne observerede også, at deres deep learning classifier anerkendte lydbilledeoptagelser som kinesisk klassisk musik. Dette tyder på, at lydbilledeoptagelser typisk deler flere ligheder med kinesisk klassisk musik end med vestlig klassisk musik.

"Vores undersøgelse understregede, at der findes visse ligheder mellem kinesisk klassisk musik og lydbilledeoptagelser, "Fan sagde." Disse resultater er i overensstemmelse med dem, der er rapporteret af kinesiske musikologer og kinesiske filosofier om klassisk musik. "

I fremtiden, undersøgelsen udført af dette team af forskere kunne inspirere andre undersøgelser, der sammenlignede forskellige genrer af musik baseret på analyse af lydlandskabsmodeller. I mellemtiden, Fan og hans kolleger planlægger at fortsætte med at undersøge ligheder og forskelle mellem kinesisk og vestlig musik ved hjælp af dybe læringsmetoder, mens man også forsøger at bygge modeller, der automatisk kan komponere ny klassisk musik.

© 2020 Science X Network