Når ansigter er delvist dækkede, er hverken mennesker eller algoritmer gode til at læse følelser

Kunstige systemer som hjemmeplejerobotter eller chaufførassistanceteknologi bliver mere almindelige, og det er på tide at undersøge, om mennesker eller algoritmer er bedre til at læse følelser, især i betragtning af den ekstra udfordring, som ansigtsdækning medfører.

I vores nylige undersøgelse sammenlignede vi, hvordan ansigtsmasker eller solbriller påvirker vores evne til at bestemme forskellige følelser sammenlignet med nøjagtigheden af ​​kunstige systemer.

Vi præsenterede billeder af følelsesmæssige ansigtsudtryk og tilføjede to forskellige typer masker – den fulde maske, der bruges af frontlinjemedarbejdere, og en nyligt introduceret maske med et gennemsigtigt vindue for at tillade læbeaflæsning.

Vores resultater viser algoritmer, og folk kæmper begge, når ansigter er delvist skjulte. Men kunstige systemer er mere tilbøjelige til at fejlfortolke følelser på usædvanlige måder.

Kunstige systemer klarede sig betydeligt bedre end mennesker med at genkende følelser, når ansigtet ikke var dækket - 98,48% sammenlignet med 82,72% for syv forskellige typer følelser.

Men afhængigt af typen af ​​belægning varierede nøjagtigheden for både mennesker og kunstige systemer. For eksempel slørede solbriller frygt for mennesker, mens delvise masker hjalp både mennesker og kunstige systemer med at identificere lykke korrekt.

Det er vigtigt, at folk klassificerede ukendte udtryk hovedsageligt som neutrale, men kunstige systemer var mindre systematiske. De valgte ofte ukorrekt vrede til billeder sløret med en hel maske, og enten vrede, lykke, neutral eller overraskelse for delvist maskerede udtryk.

Afkodning af ansigtsudtryk

Vores evne til at genkende følelser bruger hjernens visuelle system til at fortolke, hvad vi ser. Vi har endda et område af hjernen, der er specialiseret til ansigtsgenkendelse, kendt som det fusiforme ansigtsområde, som hjælper med at fortolke information afsløret af folks ansigter.

Sammen med konteksten af ​​en bestemt situation (social interaktion, tale og kropsbevægelse) og vores forståelse af tidligere adfærd og sympati for vores egne følelser, kan vi afkode, hvordan mennesker har det.

Et system af ansigtshandlingsenheder er blevet foreslået til afkodning af følelser baseret på ansigtssignaler. Det omfatter enheder som "kindløfteren" og "læbehjørnetrækkeren", som begge betragtes som en del af et udtryk for lykke.

I modsætning hertil analyserer kunstige systemer pixels fra billeder af et ansigt, når de kategoriserer følelser. De sender pixelintensitetsværdier gennem et netværk af filtre, der efterligner det menneskelige visuelle system.

Konstateringen af, at kunstige systemer fejlklassificerer følelser fra delvist tilslørede ansigter, er vigtigt. Det kan føre til uventet adfærd hos robotter, der interagerer med mennesker, der bærer ansigtsmasker.

Forestil dig, hvis de fejlklassificerer en negativ følelse, såsom vrede eller tristhed, som et positivt følelsesmæssigt udtryk. De kunstige systemer ville forsøge at interagere med en person, der foretager handlinger på den vildfarne fortolkning, de er glade for. Dette kan have skadelige virkninger for sikkerheden af ​​disse kunstige systemer og interagerende mennesker.

Risici ved at bruge algoritmer til at læse følelser

Vores forskning gentager, at algoritmer er modtagelige for skævheder i deres dømmekraft. For eksempel påvirkes ydeevnen af ​​kunstige systemer i høj grad, når det kommer til at kategorisere følelser fra naturlige billeder. Selv kun solens vinkel eller skygge kan påvirke resultaterne.

Algoritmer kan også være racemæssigt forudindtaget. Som tidligere undersøgelser har fundet, kan selv en lille ændring af billedets farve, som ikke har noget at gøre med følelsesmæssige udtryk, føre til et fald i ydeevnen af ​​algoritmer, der bruges i kunstige systemer.

Som om det ikke var et problem nok, kan selv små visuelle forstyrrelser, umærkelige for det menneskelige øje, få disse systemer til at fejlidentificere et input som noget andet.

Nogle af disse fejlklassificeringsproblemer kan løses. For eksempel kan algoritmer designes til at overveje følelsesrelaterede funktioner såsom formen på munden, snarere end at hente information fra farven og intensiteten af ​​pixels.

En anden måde at løse dette på er ved at ændre træningsdataens karakteristika – oversampling af træningsdataene, så algoritmer efterligner menneskelig adfærd bedre og laver mindre ekstreme fejl, når de fejlklassificerer et udtryk.

Men generelt falder ydeevnen af ​​disse systemer, når man fortolker billeder i virkelige situationer, når ansigter er delvist dækkede.

Selvom robotter kan hævde højere end menneskelig nøjagtighed i følelsesgenkendelse for statiske billeder af fuldstændigt synlige ansigter, i virkelige situationer, som vi oplever hver dag, er deres præstationer stadig ikke menneskelignende.