Du kan ikke altid bestemme følelser ud fra nogens ansigtsbevægelser, det kan AI heller ikke

Hvis du så en person med rynket pande, munden vendt ned, og øjnene skelede, vil du gætte på de er vrede? Hvad hvis du fandt ud af, at de havde glemt deres læsebriller og var ved at tyde en restaurantmenu?

At tolke en persons ansigtsbevægelser kan ikke ske i et vakuum; det afhænger af konteksten - noget, som den nordøstlige neuroforsker Lisa Feldman Barrett viser i et banebrydende nyt studie offentliggjort torsdag i det videnskabelige tidsskrift Naturkommunikation .

Barrett, en anerkendt universitetsprofessor i psykologi ved Northeastern, og kolleger fra flere andre institutioner rundt om i verden brugte fotografier af professionelle skuespillere, der portrætterer rigt konstruerede scenarier for at vise, at folk ikke kun bruger forskellige ansigtsbevægelser til at kommunikere forskellige tilfælde af samme følelseskategori (nogen kan skule, rynke panden, eller endda grine, når de portrætterer vrede), de anvender også lignende ansigtskonfigurationer til at kommunikere en række tilfælde fra forskellige følelseskategorier (en skuen kan nogle gange udtrykke koncentration, for eksempel)-fund, der har alvorlige konsekvenser for følelsesgenkendelsesteknologi, der foregiver at "læse" følelser i ansigtet.

"Betydningen af ​​denne undersøgelse er, at der er meget mere variation i den måde, som mennesker udtrykker forskellige forekomster af en given følelseskategori på. Og en ansigtskonfiguration kan udtrykke tilfælde af vrede, lykke, eller andre følelseskategorier, afhængig af konteksten, " siger Barrett.

Folk kan åbne øjnene op, fordi de er vrede, eller fordi de er overraskede, og den menneskelige hjerne afhænger af konteksten for at løse dette puslespil.

Tidligere videnskabelige undersøgelser af følelsesudtryk har været afhængige af almindelige mennesker eller amatørskuespillere til at portrættere et enkelt tilfælde fra hver følelseskategori givet en fattig kontekst:"Din fætter er lige død, og du føler dig meget trist. Hvilket udtryk ville du give?"

Sådanne gengivelser får folk til at læne sig op af stereotype udtryk for følelser (rynker panden i tristhed), snarere end udtryk, der afspejler et rigere følelsesliv, fuld af nuancer og situerede variationer, siger Barrett.

Så til deres studie, Barrett og hendes medforfattere brugte fotografier af professionelle skuespillere - mennesker med "ekspertise om følelser", fordi deres levebrød afhænger af "deres autentiske skildring af følelsesmæssige oplevelser i film, television, og teater, "på en måde, der udsender troværdig information, skriver forskerne.

Skuespillerne fik en detaljeret, følelsesfremkaldende scenarie at handle ud, og derefter fotograferet af Howard Schatz (som også skabte scenarierne) til to udgivne bind:In Character:Actors Acting, og Fanget i loven:Skuespillere.

Et eksempel fra Schatzs bøger:"Han er en motorcykelfyr, der kommer ud af en motorcykelbar, lige som en fyr i en Porsche bakkes ind i sin skinnende Harley, " ifølge forskernes papir.

"Det, der er vigtigt, er, at disse berømte skuespillere fik et scenarie uden følelsesord i det, " siger Barrett, hvilket eliminerer den umiddelbare forbindelse, man kan skabe mellem, for eksempel, ordet "trist" og ansigtsudtrykket "rynke panden".

Forskerne brugte 604 af de 731 fotografier i Schatzs bøger, eliminerer kun dem, hvor skuespillernes ansigtspositurer ikke kunne analyseres, fordi deres hænder dækkede deres ansigter, eller fordi deres hoveder var ekstremt skæve.

De brugte disse billeder og scenarier til at køre to undersøgelser. Først og fremmest, forskerne bad 839 frivillige om at bedømme de følelsesmæssige betydninger af scenariebeskrivelserne alene. Hver frivillig bedømte omkring 30 scenarier, ved hjælp af en 1-4 skala til at angive, i hvilket omfang en af ​​13 følelser blev fremkaldt i beskrivelsen:morskab, vrede, ærefrygt, foragt, afsky, forlegenhed, frygt, lykke, interesse, stolthed, sorg, skam, og overraskelse.

De brugte medianvurderingen af ​​hvert scenarie til at klassificere det i en af ​​disse 13 følelseskategorier. Forskerne opfordrede også tre eksperter til at kode de 604 fotografier ved hjælp af Facial Action Coding System, som specificerer et sæt handlingsenheder, der hver repræsenterer bevægelsen af ​​en eller flere ansigtsmuskler.

Ifølge en længe holdt hypotese, visse følelseskategorier er konsekvent og specifikt udtrykt med bestemte sæt ansigtsbevægelser. Hvis det var tilfældet, så skal alle scenariebeskrivelser klassificeret som fremkaldende tilfælde af en given følelseskategori svare til fotografier, der konsekvent portrætterer et bestemt sæt ansigtsbevægelser.

Eller, som Barrett siger, "Hvis de pågældende ansigtskonfigurationer - skulende, smilende, rynker panden, og så videre - er udtryk, der udviklede sig til at kommunikere specifikke følelser, du bør se berømte skuespillere posere skulende, når de portrætterer tilfælde af vrede og kun vrede, poserer panderynker, når de portrætterer tristhed, og så videre."

Forskerne udførte maskinlæringsanalyser, som afslørede, at skuespillerne portrætterede tilfælde af de samme følelseskategorier ved at forvride deres ansigter på en række forskellige måder. Også, lignende ansigtsstillinger udtrykte ikke pålideligt den samme følelsesmæssige kategori.

For at teste om ansigtsbevægelser, alene, bære enhver følelsesmæssig information uafhængig af kontekst, forskerne bad yderligere to grupper af frivillige om at bedømme den følelsesmæssige betydning af hver ansigtsstilling, enten når det præsenteres alene eller med dets tilsvarende scenarie.

Den første gruppe, 842 mennesker, bedømt omkring 30 ansigter hver. Den anden gruppe, 845 mennesker, bedømt omkring 30 ansigt-og-scenarie-par. Begge grupper blev bedt om at bedømme, i hvilket omfang deres ansigter eller ansigt-og-scenarie-par tilhørte hver af de 13 følelseskategorier.

Hvis ansigtsbevægelser bærer følelsesmæssig information uafhængigt af konteksten, så burde vurderinger af ansigterne alene have været meget lig vurderingerne af ansigtsscenarie-par. Hvis den følelsesmæssige betydning af ansigtsbevægelser primært kommer fra den kontekst, de er forbundet med, så ville de indledende vurderinger af scenarierne alene være mere lig ansigtsscenarievurderingerne.

Forskerne fandt ud af, at folks vurderinger af ansigtspositurer alene ikke svarede pålideligt til vurderingerne af ansigterne, når de blev set med scenariet; de matchede heller ikke scenariets udpegede følelseskategori. De følelsesmæssige betydninger af ansigtsstillingerne kom primært fra de scenarier, de blev parret med, dvs. konteksten.

"De nuværende resultater slutter sig til andre nylige opsummeringer af de empiriske beviser, der tyder på, at skuler, smiler, og andre ansigtskonfigurationer hører til en større, mere varierende repertoire af de meningsfulde måder, hvorpå mennesker bevæger deres ansigter for at udtrykke følelser, " skriver forskerne.

Med andre ord, Barrett siger, "Folk udleder betydningen af ​​dit smil, og deres slutninger er informeret af kontekst. Når det kommer til at udtrykke følelser, et ansigt taler ikke for sig selv."

Forskernes resultater har implikationer for den slags kunstigt intelligente systemer, som nogle ingeniører hævder at være i stand til at tyde en persons følelser ved alene at spore deres ansigtsbevægelser.

Virksomheder bruger allerede AI-drevne systemer til at måle børns følelser, mens de lærer, foretage domme om potentielle jobkandidater, og gæt på de uhyggelige hensigter en flypassager.

"Vores forskning imødegår direkte den traditionelle følelsesmæssige AI-tilgang, " siger Barrett. "Visse virksomheder hævder, at de har algoritmer, der kan registrere vrede, for eksempel, når det, de i virkeligheden har – under optimale omstændigheder – er algoritmer, der sandsynligvis kan detektere skulen, som måske eller måske ikke er et udtryk for vrede. Det er vigtigt ikke at forveksle beskrivelsen af ​​en ansigtskonfiguration med slutninger om dens følelsesmæssige betydning."