Forskere udvikler virtuel komponistassistent

Eksperter fra Institute of Cyber ​​Intelligence Systems ved National Research Nuclear University MEPhI (Rusland) er i øjeblikket ved at udvikle en virtuel komponistassistent, der vil være i stand til at analysere musikkomponisters følelsesmæssige tilstand og følge deres logik. På trods af musikteoriens høje udviklingsniveau, processen med at skabe musik er stadig svær at formelt algoritme, da det er uadskilleligt forbundet med komponistens følelsesmæssige oplevelser. Dette aspekt af den kreative proces er af særlig interesse for eksperter i maskinintelligens.

Forskere kan allerede skabe synergi mellem mennesker og software på en måde, der gør det muligt for computeren, der kører softwaren, at indsamle data om den følelsesmæssige tilstand og skaberens intentioner, og derved blive en fortsættelse af det menneskelige sind. Den virtuelle komponistassistent er software, der alene kan skabe musik på menneskeligt niveau af høj æstetisk kvalitet. Det er en kreativ smart assistent, der kan tilføje sine egne noter, akkorder og kombinationer til en melodi skrevet af komponisten.

For at nå dette mål, forskere skulle identificere musikalske lyde, akkorder og deres kombinationer, skabe semantiske kort baseret på denne analyse, og forbinde dem med modeller af menneskers følelsesmæssige opfattelse af musik. Den nye software er fundamentalt forskellig fra andre tilgange, da den virtuelle assistent kan bevare følelsesmæssig kontakt med komponisten, sagde professor Alexei Samsonovich fra MEPhI Institute of Cyber ​​Intelligence Systems.

"De fleste sådanne programmer repræsenterer neurale netværk, der læres at skrive musik eller lave kunst, " sagde han. "Men vores idé var at identificere komponistens følelsesmæssige tilstand og følge dens logik."

Denne metode er baseret på at bruge semantiske kort i stedet for neurale netværk, sagde Samsonovich. I semantiske kort, den følelsesmæssige tilstand af ens sind er repræsenteret af et punkt i det affektive rum. I dette rum, enhver mulig handling har sine egne koordinater, og der er en bestemt regel, der tillader forskere at forbinde forskellige koordinater med de andre ved at følge logikken i følelsesmæssig perception. Lovene for musikalsk harmoni og rytme pålægger denne proces visse begrænsninger.

"Disse begrænsninger, imidlertid, kan ikke definere alt; de efterlader en vis frihed til kreativitet, " Samsonovich forklarede. "Dette er den frihed, som vores software bruger, mens du bliver styret af det semantiske kort og reglerne for valg af koordinater på det, og mens der tages højde for udviklingen af ​​den følelsesmæssige tilstand. Jeg vil gerne påpege, at vi ikke taler om maskinlæring, da modellen er baseret på psykologiens principper (basale psykologiske aspekter af adfærd). I denne forstand, i modsætning til neurale netværk, modeller som denne kan forklare essensen af ​​fænomenet kreativitet."

Den gensidige forståelse mellem komponisten og den virtuelle assistent kan opnås gennem organisering og lagring af forskellige typer af følelsesmæssige reaktioner på musikalske elementer – akkorder, deres rækkefølge og intervaller – i softwaremiljøet.

For at sikre opbevaring og brug af informationen om de mest vellykkede og passende kombinationer af lyde, den virtuelle assistent bruger et semantisk kort, som gør det muligt for den virtuelle komponist ikke kun at bygge på en melodi sat af brugeren efter hans smag, men også overvåge hans humør, foreslå forskellige versioner og skabe det rette akkompagnement.

I løbet af metodens udvikling, forskere brugte en separat applikation til at teste, hvordan deltagere vurderer forskellige kombinationer af akkorder i henhold til tre mål, hver bedømt på en skala fra 1 til 10:behagelig-ubehagelig, munter-trist og spændende-kedeligt. Dette evalueringssystem gjorde det muligt for forskere at skabe tredimensionelle semantiske kort.

"Vi antog, at ens valg af adfærd baseret på sociale følelser, følelser og relationer kan beskrives med relativt simple dynamiske ligninger, " sagde Samsonovich. "Den simple model for adfærd baseret på det semantiske kort og to ligninger kan ikke skelnes fra menneskets adfærd i de enkleste paradigmer for social interaktion i et virtuelt miljø."

Samsonovich tilføjede også, at den mest lovende tilgang inden for dette forskningsfelt er baseret på kognitive arkitekturer, der er skabt ved hjælp af psykologi og neurovidenskabelige data - de såkaldte biologisk inspirerede kognitive arkitekturer (BICA).

Forskerne mener, at den nye udvikling kan skaleres op og bruges ikke kun i musik, men også på mange andre områder af digital kreativitet, såvel som i menneske-maskine-systemer. At skabe og implementere sådanne innovationer er et vigtigt skridt i studiet af det socio-emotionelle aspekt af intelligens, som er ansvarlig for genkendelse og udtryk for følelser, hensigter, motiver og ønsker. Nøgleresultaterne af denne forskning blev offentliggjort i Procedia Datalogi tidsskrift.