Et multi-skala kropsdel ​​maske styret opmærksomhedsnetværk til person re-identifikation

Persongenidentifikation indebærer automatisk identifikation af den samme person i flere billeder fra forskellige kameraer og med forskellig baggrund, vinkler eller positioner. På trods af de seneste fremskridt inden for kunstig intelligens (AI), Persongenidentifikation er fortsat en meget udfordrende opgave, især på grund af de mange variationer i en persons positur, samt andre forskelle forbundet med belysning, okklusion, fejljustering og baggrundsrod.

Forskere ved Suning R&D Center i USA har for nylig udviklet en ny teknik til genidentifikation af personer baseret på et multi-skala kropsdel ​​maske guidet opmærksomhedsnetværk (MMGA). Deres papir, forudgivet på arXiv, vil blive præsenteret under 2019 CVPR Workshop spotlight-præsentationen i juni.

"Persongenidentifikation bliver en mere og mere vigtig opgave på grund af dens brede vifte af potentielle anvendelser, såsom kriminel efterforskning, offentlig sikkerhed og billedsøgning, "Honglong Cai, en af ​​de forskere, der har udført undersøgelsen, fortalte TechXplore . "Imidlertid, det er stadig en udfordrende opgave, på grund af okklusion, fejlstilling, variation af positurer og baggrundsrod. I vores nylige undersøgelse, vores team forsøgte at udvikle en metode til at overvinde disse udfordringer."

I stedet for at fokusere på hele billeder, Cai og hans kolleger udviklede en model for genidentifikation af personer, der kun tager hensyn til personen af ​​interesse, ignorerer baggrunden. Tag denne idé et skridt videre, deres model analyserer forskellige kropsdele af personen i et givet billede.

"For at implementere vores idé, vi foreslog kreativt et multi-skala kropsdel ​​maske guidet opmærksomhed netværk, " sagde Cai. "Vi anvender kropsmasker til at guide træningen af ​​vores model, så den kan være mere opmærksom på den menneskelige krop i billedet. Vores model indeholder to dele:en funktionsudtrækker og et opmærksomhedsmodul."

Funktionsudtrækskomponenten i modellen, der er udtænkt af Cai og hans kolleger, kan uddrage diskriminerende træk ved menneskers kroppe fra billeder. Modellens opmærksomhedsmodul, på den anden side, guider MMGA-netværket, fremhæve områder af billedet (dvs. pixels), som det skal være mere opmærksom på.

Forskerne brugte kropsmasker til at guide træningen af ​​deres models opmærksomhedsmodul, da dette gør det muligt at skelne menneskekroppe fra baggrundsinformation. Ud over, de opdeler kropsmasker i over- og underkropsmasker, så opmærksomhedsmodulet kan lære at skelne mellem øvre og nedre dele af en persons krop.

"Til forskel fra de fleste nuværende metoder til genidentifikation af personer, som opdeler billeder i faste dias, vores model kan fortælle præcis, hvor overkroppen og underkroppen er, Cai forklarede. kropsmasker bruges kun i træningsfasen, og vi kræver ikke kropsmasker i inferensfasen, hvilket gør vores model meget effektiv i praktiske applikationer."

For at evaluere deres model, Cai og hans kolleger udførte en række eksperimenter, der testede dens ydeevne på to datasæt, nemlig Market-1501 og DukeMTMC-reID datasættene. De fandt ud af, at deres model kan reducere de negative virkninger af variationer i en persons positur, fejljustering og baggrundsrod, udkonkurrerende state-of-the-art re-identifikationsmetoder.

Resultaterne indsamlet af forskerne tyder på, at opmærksomhedsmekanismer betydeligt kan forbedre nøjagtigheden af ​​persongenidentifikationsnetværk. I øvrigt, deres undersøgelse introducerede en maskeguide opmærksomhedstræningsmetode, der yderligere kan forbedre denne nøjagtighed.

"I vores seneste arbejde, overkropsmasker og underkropsmasker bruges til at vejlede træningen af ​​opmærksomhedsmodulet, " sagde Cai. "I fremtiden, vi vil gerne prøve at opdele kropsmasker i finere detaljer såsom hoved, hånd, arm, ben, etc., da dette yderligere kan forbedre nøjagtigheden af ​​persongenidentifikation."

© 2019 Science X Network