Løsning til bestemmelse af følelser hos mennesker i gruppefotografier

Ordsprogene siger, at et billede er tusind ord værd. Men hvad nu hvis du ikke kan fortælle hvad billedet viser? Fra akavede familiebilleder til klassefotografier, nogle gange er det svært at fortælle, hvad folkene på billederne tænker.

Brug af maskinlæring og dyb læring med neurale netværk, et team fra University of Delaware finder ud af det. Et team ledet af ph.d.-studerende Xin (Cindy) Guo scorede førstepladsen i underudfordringen Emotion Recognition på koncernniveau, en af ​​tre deludfordringer i den 6. Emotion Recognition in the Wild (EmotiW 2018) Challenge. Vinderne blev annonceret på ACM International Conference on Multimodal Interaction 2018, som blev afholdt i oktober 2018.

Hold fik et sæt billeder, der forestiller en gruppe mennesker, og havde til opgave at udvikle en algoritme, der kunne klassificere personerne på billederne som glade, neutral eller negativ. Hold havde halvanden måned og syv forsøg på at producere den mest nøjagtige algoritme muligt. UD -teamets vindende løsning, med titlen "Gruppeniveau følelsesgenkendelse ved hjælp af hybride dybe modeller baseret på ansigter, Scener, Skeletter og visuelle opmærksomheder, "vil blive udgivet af ACM. Gruppen smeltede otte forskellige modeller sammen for at udvikle deres vindende løsning, der arbejder på fotografier i forskellige opløsninger, sløret for at rydde.

Målet med sådan arbejde? For automatisk at klassificere billeder, der uploades til websteder.

"Når folk søger, de ville se de billeder, de leder efter, fordi algoritmen ville køre og mærke, om folk er glade eller ej, "sagde Guo." Det kunne bruges til at analysere følelserne hos en gruppe mennesker, der er afbilledet ved en protest, en fest, et bryllup, eller et møde, for eksempel. Denne teknologi kunne også udvikles til at bestemme, hvilken slags begivenhed et givet billede viser. "