Menneskelig tale, jazz og hvalsang

Jazzmusikere riffer med hinanden, mennesker, der taler med hinanden, og flok spækhuggere har alle interaktive samtaler, der ligner hinanden bemærkelsesværdigt, viser ny forskning.

Kognitionsvidenskabelige forskere ved UC Merced har udviklet en ny metode til at analysere og sammenligne talelyde, musik og komplekse dyrevokaliseringer som hvalsang og fuglesang. Papiret, der beskriver deres resultater, bliver offentliggjort i dag i Journal of the Royal Society Interface .

Deres metode er baseret på ideen om, at disse lyde er komplekse, fordi de har flere lag af struktur. hvert sprog, for eksempel, har individuelle lyde, svarer nogenlunde til bogstaver, der kombineres for at danne stavelser, ord, sætninger, sætninger og så videre. Det er et hierarki, som alle forstår intuitivt. Musikalske kompositioner har deres egne tidslige hierarkier, men indtil nu har der ikke været en måde at sammenligne hierarkierne af tale og musik direkte på, eller test, om lignende hierarkier kan eksistere i fuglesang og hvalsang.

"At spille jazzmusik er blevet sammenlignet med en samtale mellem musikere, og spækhuggere er meget sociale væsner, der taler, som om de taler med hinanden. Men lyder jazzmusik virkelig som en samtale, og lyder spækhuggere virkelig som om de taler?" spurgte ledende forsker og UC Merced-professor Chris Kello. "Vi ved, at spækhuggere er meget sociale og intelligente, men det er svært at se, at de interagerer, når du lytter til optagelser af dem. Vores metode viser, hvor meget deres lydmønstre ligner folk, der taler, men ikke som andre, mindre sociale hvaler eller fugle."

Forskerne fandt ud af en måde at måle og sammenligne lydoptagelser ved at konvertere dem til "stregkoder", der fanger klynger af lydenergi, og klynger af klynger, på tværs af niveauer i et hierarki. Disse stregkoder gjorde det muligt for forskerne direkte at sammenligne tidslige hierarkier i mere end 200 optagelser af forskellige slags tale på seks forskellige sprog, forskellige former for populær og klassisk musik, fire forskellige arter af fugle og hvaler synger deres sange, og endda tordenvejr.

Kello og hans kolleger har brugt stregkodemetoden i flere år. De udviklede det først i undersøgelser af samtaler. Studiet offentliggjort i dag er første gang, at de anvendte metoden til musik og dyrevokaliseringer.

"Metoden giver os mulighed for at stille spørgsmål om sprog og musik og dyresange, som vi ikke kunne stille uden en måde at se og sammenligne mønstre i alle disse optagelser, " sagde Kello.

En fællessang

Kello, Fellow UC Merced kognitiv videnskab professor Ramesh Balasubramaniam, kandidatstuderende Butovens Me´de´ og samarbejdsprofessor Simone Dalla Bella opdagede også, at enorme pukkelhvalers uhyggelige sange er bemærkelsesværdigt lig de smukke sange fra små nattergale og eremitdrosler med hensyn til deres tidsmæssige hierarkier.

"pukkelryg, nattergale og eremitdrosler er ensomme sangere, " sagde Kello. "Stregkoderne viser, at deres sange har lignende strukturlag, men vi ved ikke, hvad det betyder - endnu."

Idéen til dette projekt kom fra Kellos sabbatår på universitetet i Montpellier i Frankrig, hvor han arbejdede og diskuterede ideer med Dalla Bella. Balasubramaniam, der studerer, hvordan musik opfattes, er på Institut for Samfundsvidenskab, Humaniora og kunst med Kello, der studerer tale- og sprogbehandling. Projektet var et naturligt samarbejde og er en del af et voksende forskningsfokus på UC Merced, som blev muliggjort af den National Science Foundation-finansierede CHASE sommerskole om musik og sprog i 2014, og en Google Faculty Award til Kello.

Balasubramaniam er interesseret i at fortsætte arbejdet for bedre at forstå, hvordan hjerner skelner mellem musik og tale, mens Kello sagde, at der er mange forskellige veje at forfølge.

For eksempel, forskerne fandt næsten identiske tidslige hierarkier for seks forskellige sprog, hvilket kan antyde noget universelt om menneskelig tale. Imidlertid, fordi dette resultat var baseret på optagelser af TED Talks – som har en fælles stil og progression – sagde Kello, at det vil være vigtigt at blive ved med at se på andre former for tale og sprog.

En af hans kandidatstuderende, Sara Schneider, bruger metoden til at studere konvergensen mellem spanske og engelske stregkoder i tosprogede samtaler. Endnu en kandidatstuderende, Adolfo Ramirez-Aristizabal, arbejder sammen med Kello og Balasubramaniam for at undersøge, om stregkodemetoden kan kaste lys over, hvordan hjerner behandler tale og andre komplekse lyde.

"At lytte til musik og tale, vi kan høre noget af det, vi ser i stregkoderne, og oplysningerne kan være nyttige til automatisk klassificering af lydoptagelser. Men det betyder ikke, at vores hjerner behandler musik og tale ved hjælp af disse stregkoder, " sagde Kello. "Det er spændende, men vi er nødt til at blive ved med at stille spørgsmål og gå derhen, hvor dataene fører os."