Kan computere trænes til at forstå kropssprog?

Mennesker er i stand til at "læse" andres kropssprog for at få fingerpeg om deres følelsesmæssige tilstand. For eksempel, bemærker, at en ven er nervøs ved deres bankende fod, eller at en elsket, der står højt, føler sig selvsikker. Nu, et hold forskere ved Penn State undersøger, om computere kan trænes til at gøre det samme.

Teamet undersøger, om moderne computer vision-teknikker kan matche menneskers kognitive evne til at genkende kropslige udtryk i den virkelige verden, ubegrænsede situationer. Hvis så, disse egenskaber kan muliggøre et stort antal innovative applikationer inden for områder, herunder informationsstyring og -hentning, offentlig sikkerhed, patientbehandling og sociale medier, sagde forskerne.

"Computere og robotter vil i fremtiden interagere med flere mennesker, " sagde James Wang, professor ved College of Information Sciences and Technology (IST) og medlem af forskerholdet. "Dagens computere, i høj grad, blot følge ordrer. I fremtiden, robotter og computere vil mere fungere som partnere for mennesker og arbejde sammen. Og for at gøre det, de bliver nødt til at forstå deres følelser."

College of IST doktorgradskandidat Yu Luo, arbejder med Wang og andre fakulteter på holdet, behandlede et stort antal filmklip og byggede et datasæt på mere end 13, 000 menneskelige karakterer med næsten 10, 000 kropsbevægelser. Ifølge forskerne, undersøgelser har vist, at den menneskelige krop kan være mere diagnostisk end ansigtet til at genkende menneskelige følelser.

"Begrebet i psykologi kaldes 'socio-redigering', '" sagde Luo. "Folk kan bruge det til at manipulere deres ansigtsudtryk, men det er meget sværere at kontrollere deres krop. Kropssproget projicerer forskellige følelser."

Næste, forskerne brugte computersynsmetoder til at lokalisere og spore hver person på tværs af forskellige rammer i scenen, i sidste ende markerer hver enkelt person i et klip med et unikt ID-nummer. Endelig, forskerne brugte menneskelige annotatorer til at gennemgå filmklippene og identificere følelsen af ​​hvert enkelt individ i en af ​​26 kategoriske følelser, dvs. fred, kærlighed, agtelse, forventning, engagement, tillid, lykke, fornøjelse, spænding, overraskelse, sympati, forvirring, afbrydelse, træthed, forlegenhed, længsel, misbilligelse, aversion, irritation, vrede, følsomhed, sorg, uro, frygt, smerte og lidelse, såvel som i tre dimensioner af følelser, dvs. valens, ophidselse og dominans.

"Vi fandt ud af, at det er komplekst at fortolke følelser baseret på kropssprog, " sagde Wang. "Der er en masse finesser, som vi forsøger at forstå. Selv for mennesker er der mange uoverensstemmelser.

"Folk er ikke enige med hinanden, når det kommer til at fortolke følelser, " tilføjede han. "Du tror måske, at en person er glad, Jeg tror måske, de er begejstrede, og måske har vi begge ret. Der er ofte ingen sandhed, hvilket gør datadrevet modellering meget udfordrende."

Når forskerne byggede datasættet og anvendte de menneskeopfattede følelsesmæssige annoteringer for hver enkelt person, de brugte state-of-the-art statistiske teknikker til at validere deres kvalitetskontrolmekanismer og analyserede grundigt konsensusniveauet for deres verificerede dataetiketter. Yderligere, de konstruerede automatiserede følelsesgenkendelsessystemer ud fra menneskelige skeletter og billedsekvenser. Specifikt, dyb læringsteknikker og håndlavede, Laban-bevægelsesanalyse-baserede funktioner demonstrerede effektivitet til opgaven.

De fandt ud af, at computermodellen kunne identificere ophidselse, eller hvor energisk oplevelsen føles, med en høj grad af præcision. Imidlertid, forskerne fandt også ud af, at mennesker er bedre end computere til at identificere valensen - hvor negativ eller positiv oplevelsen føles.

De nuværende resultater blev muliggjort af et frøbevilling fra College of IST, og igangværende forskning støttes af en nylig pris fra Amazon Research Award Program. Holdet blev også for nylig tildelt et planlægningsprojekt fra National Science Foundation for at opbygge et fællesskab for at udvikle den datainfrastruktur, der skal bruges i denne forskning.

Wang og Luo arbejdede sammen med andre Penn State-forskere på projektet, inklusive Jianbo Ye, tidligere doktorand og laborant i College of IST; Reginald Adams og Michelle Newman, professorer i psykologi; og Jia Li, professor i statistik. Der er for nylig indgivet en foreløbig patentansøgning, og værket vil blive offentliggjort i et kommende nummer af International Journal of Computer Vision .

"Adgangsbarrieren for denne forskningslinje er ret høj, " sagde Wang. "Du skal bruge viden fra psykologi, du skal udvikle og integrere datavidenskabelige metoder, og du skal bruge statistisk modellering til korrekt at indsamle affektive data. Dette viser, at vi er på forkant med videnskab og teknologi i dette vigtige informationsunderdomæne."