Et system til at generere nye sangtekster, der matcher stilen hos specifikke kunstnere

Forskere ved University of Waterloo, Canada, har for nylig udviklet et system til at generere sangtekster, der matcher stilen hos bestemte musikkunstnere. Deres tilgang, skitseret i et papir, der er forududgivet på arXiv, bruger en variationel autoencoder (VAE) med kunstnerindlejringer og en CNN-klassifikator, der er trænet til at forudsige kunstnere fra MEL-spektrogrammer af deres sangklip.

"Motivationen for dette projekt kom fra min personlige interesse, "Olga Vechtomova, en af ​​de forskere, der har udført undersøgelsen, fortalte TechXplore. "Musik er en passion for mig, og jeg var nysgerrig efter, om en maskine kan generere linjer, der lyder som teksterne fra mine yndlingsmusikere. Mens du arbejder på tekstgenerative modeller, min forskergruppe fandt ud af, at neurale netværk kan generere nogle imponerende tekstlinjer. Det naturlige næste skridt for os var at undersøge, om en maskine kunne lære 'essensen' af en specifik musikkunstners lyriske stil, herunder valg af ord, temaer og sætningsstruktur, at generere nye tekstlinjer, der lyder som den pågældende kunstner."

Systemet udviklet af Vechtomova og hendes kolleger er baseret på en neural netværksmodel kaldet variational autoencoder (VAE), som kan lære ved at rekonstruere originale tekstlinjer. I deres undersøgelse, forskerne trænede deres model til at generere et hvilket som helst antal nye, forskelligartede og sammenhængende lyriske linjer.

"At generere linjer i stil med en given kunstner, vi betingede generationen af ​​en kunstnerindlejring (dvs. en multidimensionel vektor af reelle tal), lært af et separat neuralt netværk, som er trænet til at klassificere spektrogrammer af musik lydklip af kunstnere, " sagde Vechtomova. "Derefter bruger vi kunstnerens indlejringer til at betinge genereringen af ​​tekstlinjer i stil med hver kunstner. Motivationen bag dette er, at vi ønsker, at forskellene mellem kunstnerindlejringer skal afspejle forskellene i deres lyriske såvel som musikalske stilarter."

I en række foreløbige evalueringer, systemet udviklet af Vechtomova og hendes kolleger klarede sig bemærkelsesværdigt godt. Deres resultater tyder på, at kunstnerindlejringer er nyttige til at generere sangtekster, der matcher en kunstners stil. Mange linjer genereret af modellen var umiskendeligt på linje med den kunstner, den var betinget af, afspejler de temaer, der generelt behandles i hans/hendes musik.

"Mens de genererede linjer ofte indeholder en kunstners ord, disse bruges på en interessant ny måde, at udtrykke nye tanker, der ikke findes i de originale sangtekster, " Vechtomova forklarede. "Nogle af de genererede linjer formidler nye og kraftfulde poetiske billeder, udtrykt ved hjælp af stilistiske virkemidler som metaforer og oxymoroner, mens de forbliver tro mod kunstnerens stil."

I fremtiden, systemet skabt af Vechtomova og hendes kolleger kunne bruges til at inspirere kunstnere, der komponerer tekster til nye sange. I stedet for at erstatte lyriske komponister, forskerne håber, at det vil give nye ideer, som kunstnere så kan forme, bygge videre på og udvikle selvstændigt.

"Systemet er ikke beregnet til at erstatte en musikkunstner, men skal bruges som inspirationskilde under sangskrivningsprocessen, " sagde Vechtomova. "I musikverdenen, dette kunne være analogt med en synthesizer, der kan generere et uendeligt antal lyde, hvorfra en kunstner så skaber en sang. Tilsvarende dette værktøj kan generere et uendeligt antal nye linjer, som kunstnere kan bruge på enhver måde, de kan lide til at komponere deres egne tekster."

Som en del af et andet projekt, Vechtomova brugte det samme system til at generere spændende poesi i stil med forskellige musikkunstnere. Den resulterende digtsamling blev accepteret som et kunstværk på NeurIPS 2018 Workshop on ML for Creativity and Design.

"I fremtiden, vi planlægger at arbejde på modeller, der kan lære nye temaer og ordforråd fra yderligere kilder, og bruge dem til at generere tekster i stil med en given kunstner, " sagde Vechtomova. "Jeg vil også gerne undersøge, hvordan et sådant system potentielt kan bruges af musikkunstnere som en inspirationskilde."

© 2019 Science X Network