Undersøgelse viser ansigtstræk spor med intonation af ord

Selvom de ikke er nødvendige for at lave de specifikke lyde, dele af mandarin-kinesisktalendes ansigter - deres øjenbryn og læber - efterligner den stigende og faldende tonehøjde, der adskiller et ord stavet nøjagtigt ens fra et andet.

Med andre ord, højttalernes øjenbryn følger de lyde, deres hals laver.

Dette er resultatet af en ny undersøgelse skrevet af Allard Jongman og Joan Sereno, University of Kansas professorer i lingvistik.

De siger, at det indebærer behovet for at undersøge, om disse subtile ansigtsbevægelser hjælper lyttere med at opfatte, hvad talerne forsøger at formidle.

Sammen med de canadiske universitetskolleger Saurabh Garg, Ghassan Hamarneh og Yue Wang, Jongman og Sereno skrev "Computersynsanalyse afslører ansigtsbevægelser foretaget under mandarin-toneproduktion i overensstemmelse med tonehøjdebaner" i oktoberudgaven af ​​tidsskriftet Talekommunikation .

De siger, at det er første gang, disse ansigtsbevægelsers tilknytning til vokal tone er blevet identificeret og kvantificeret.

I et nyligt interview, Jongman gav eksemplet med det kinesiske ord, der fonetisk ville blive stavet "ma" på engelsk. Som med mange, hvis ikke de fleste, Mandarin ord, det kan udtales på en af ​​fire måder:niveau, stigende, dykker eller falder. Afhængig, derefter, ved intonation, ordet kan betyde "mor, " "hamp, " "hest" eller "skæld ud."

"Du skal have det rigtigt, " sagde Jongman. "Ellers, du kalder din mor en hest."

"Der er mange sprog, der har disse typer tonehøjde, der er forbundet med forskellige ord, " sagde Sereno.

"Størstedelen af ​​talere i verden er tonesprogstalere, " sagde Jongman. "Og det hele kommer fra variationer i hastigheden af ​​vokal-fold vibrationer."

peger på hans hals, Jongman sagde, "På høj tone, stemmelæberne hernede vibrerer meget hurtigt. Og når du har en lav tonehøjde, de vibrerer meget langsommere. Så det hele kommer fra handlingen hernede."

"Teknisk set, "Sereno sagde, peger på hendes ansigt, "der burde ikke være noget heroppe, der adskiller 'ma' med en høj tonehøjde versus 'ma' med en faldende tonehøjde."

Og stadigvæk, deres undersøgelse fandt, der er. Folks ansigtsstrukturer efterligner de stigende/faldende intonationer, de anvender på deres ord.

"Nogle af disse sammenhænge mellem ansigtsbevægelse og intonation eller tonehøjde var blevet foreløbigt etableret, " sagde Jongman. "Vi gik et skridt videre og sagde, "OKAY, lad os systematisk se på det her."

Forskerne optog de kinesisktalendes ansigter, mens de talte, udsatte derefter filerne for computeranalyse for at bestemme forholdet mellem intonation og ansigtsbevægelse. Jongman sagde, at det er en stor forbedring i forhold til tidligere metoder.

"I fortiden, " han sagde, "Folk har brugt det, der kaldes opto-track analyse. Man limer et par lysemitterende sensorer til ansigtet, og så sporer du bevægelsen af ​​disse sensorer. Og nogle gange limer du endda ting på læberne. Så du sidder der med disse sensorer, og du bliver bedt om at tale. Jeg mener, hvor naturligt er det? Det begrænser, hvad folk ville gøre under normale omstændigheder. Nummer to, du skal have en forudfattet idé om, hvad de vigtige områder i ansigtet vil være, fordi du ikke kan aflæse noget, som du ikke har sat en sensor på.

"Det er en stor fordel ved vores tilgang. Vi har lagt os fast på disse par funktioner nu. Men hvis en anden gruppe senere finder ud af, at din øreflip er virkelig vigtig, vi kan gå tilbage til vores optagelser og analysere det."

Nu hvor de har bevist, at mandarin-talendes ansigter følger deres intonation, Jongman og Sereno sagde, at det næste skridt vil være at bestemme, i hvilket omfang disse visuelle signaler hjælper lytteren - deres "sproglige betydning."

"Vi skal computergenerere et ansigt og derefter manipulere de funktioner, vi lige har fundet, og se, om det gør en forskel, " sagde Jongman. "Reagerer lytterne på det?"

Ligesom mennesker med hørenedsættelse kan lære at læse læber, folk kan måske drage fordel af de mere subtile ansigtssignaler, har den nye undersøgelse fundet.

"Hvis du er hørehæmmet, og vi kan måske overdrive nogle af disse signaler en smule eller lære folk at overdrive dem, eller også i sprogindlæring gør det, som kan hjælpe meget, " sagde Jongman.

Sereno sagde, at hun kan forestille sig et scenarie, hvor en sproglærer bliver hjulpet ved at se modersmålstalendes ansigtssignaler.

"Visuel manipulation kan hjælpe med at identificere det, " sagde hun. "Så når de kommer i en naturlig situation, når der måske er mindre overdrivelse af disse signaler, de er stadig i stand til at identificere dem meget bedre."