En rammebestemmelsesramme med flere granuler til anerkendelse af sociale relationer

Et team af forskere ved Beijing University og JD AI Research har for nylig udviklet en multi-granularity-begrundelsesramme for anerkendelse af sociale relationer. Deres rammer, beskrevet i et papir, der på forhånd er offentliggjort på arXiv, blev uddannet til at analysere billeder af mennesker i forskellige scener og forudsige det sociale forhold mellem dem.

Effektivt at udlede de sociale relationer mellem mennesker kunne hjælpe intelligente agenter med at nå en bedre forståelse af menneskelig adfærd og følelser. Billedbaseret social relationsgenkendelse indebærer evnen til at klassificere forholdet mellem par af mennesker i et billede i foruddefinerede relationstyper, såsom venner, familie, bekendte, fremmede, etc.

Billedbaserede værktøjer til genkendelse af sociale relationer kan have en række nyttige applikationer, for eksempel, i personlig billedsamling minedrift og social begivenhedsforståelse. De seneste fremskridt inden for dyb læring har åbnet nye muligheder for anerkendelse af sociale relationer, hvilket fører til betydelige forbedringer i ydelsen.

Ikke desto mindre, automatisk at genkende sociale relationer i billeder har hidtil vist sig at være udfordrende, især på grund af den betydelige kløft mellem områderne med visuelt indhold og sociale relationer. De fleste eksisterende tilgange fungerer ved separat behandling af funktioner såsom ansigtsudtryk, kropsudseende og kontekstuelle spor.

"Eksisterende metoder til genkendelse af sociale relationer anvender normalt visuelle funktioner på lavt niveau, såsom personers udseende, ansigtsattributter og kontekstuelle objekter, "forskerne skrev i deres papir." Selvom nogle tilgange undersøger forholdet mellem personer og objekter, de betragter kun sameksistensen i et billede. Imidlertid, kun afhængigt af single-granularitetsrepræsentationen kan næppe overvinde domænegabet mellem visuelle træk og sociale relationer. "

Ved at analysere funktioner individuelt, eksisterende metoder til genkendelse af sociale relationer formår typisk ikke at fange multi-granularitet semantik, f.eks. overordnede scener eller hvor mennesker befinder sig i et billede, samt interaktioner mellem mennesker og objekter. For at imødegå disse begrænsninger, forskerteamet ved Beijing University og JD AI Research udtænkte en rammebestemmelsesramme med flere granulater for anerkendelse af sociale relationer i billeder.

Deres rammer erhverver global viden fra hele scenen og detaljer på mellemniveau fra de regioner, hvor mennesker og objekter befinder sig i et billede. Det udforsker også den finkornighed, der udgør nøglepunkter for mennesker til at afdække interaktioner mellem mennesker og objekter.

"Helt konkret, posestyret person-objektgraf og person-pose-graf foreslås til at modellere handlingerne fra personer til objekt og interaktionerne mellem parrede personer, henholdsvis, "forklarede forskerne i deres papir." Baseret på disse grafer, begrundelse for social relation udføres af grafkonvolutionsnetværk. Endelig, de globale træk og begrundet viden er integreret som en omfattende repræsentation for anerkendelse af sociale relationer. "

Forskerne evaluerede deres model på to store datasæt i sociale relationer, nemlig People in Social Context (PISC) og People in Photo Album (PIPA) datasæt. PISC -datasættet indeholder billeder af fælles sociale relationer i det daglige liv, mens PIPA -datasættet indeholder billeder, der er kommenteret baseret på teorien om det sociale domæne, som opdeler det sociale liv i fem domæner og 16 forskellige relationer. I disse tests, deres model opnåede bemærkelsesværdige resultater, bedre end en række state-of-the-art metoder.

På trods af disse opmuntrende resultater, at udvikle værktøjer til at genkende sociale relationer er stadig meget udfordrende, især når det drejer sig om intime relationer, som dem mellem venner, familier eller par, som kan være svær at skelne for menneskelige seere, også. I fremtiden, forskerne planlægger at udforske nye måder at opdage kontekststik i billeder og overvinde udfordringerne forbundet med mangel på tilgængelige data for nogle former for sociale relationer.

© 2019 Science X Network