Team udvikler teknologi til ansigtsgenkendelse, der fungerer i mørket

Hærens forskere har udviklet en kunstig intelligens og maskinindlæringsteknik, der producerer et synligt ansigtsbillede fra et termisk billede af en persons ansigt, der er fanget i svagt lys eller natlige forhold. Denne udvikling kan føre til forbedret biometri i realtid og retsmedicinsk analyse efter mission for skjulte natoperationer.

Termiske kameraer som FLIR, eller fremadrettet infrarød, sensorer indsættes aktivt på luft- og terrængående køretøjer, i vagttårne ​​og på kontrolpunkter til overvågningsformål. For nylig, termiske kameraer bliver tilgængelige til brug som kropsbårne kameraer. Evnen til at udføre automatisk ansigtsgenkendelse om natten ved hjælp af sådanne termiske kameraer er gavnlig for at informere en soldat om, at en person er en person af interesse, som nogen, der muligvis er på en overvågningsliste.

Motivationerne for denne teknologi - udviklet af Dr. Benjamin S. Riggan, Nathaniel J. Short og Shuowen "Sean" Hu, fra U.S. Army Research Laboratory-skal forbedre både automatiske og menneskelige matchende muligheder.

"Denne teknologi muliggør matchning mellem termiske ansigtsbilleder og eksisterende biometriske ansigtsdatabaser/overvågningslister, der kun indeholder synlige ansigtsbilleder, "sagde Riggan, en forsker. "Teknologien giver mennesker mulighed for visuelt at sammenligne synlige og termiske ansigtsbilleder gennem termisk til synlig ansigtssyntese."

Han sagde under nat- og svagt lys, der er utilstrækkeligt lys til et konventionelt kamera til at fange ansigtsbilleder til genkendelse uden aktiv belysning, f.eks. en blitz eller spotlight, som ville give væk placeringen af ​​sådanne overvågningskameraer; imidlertid, termiske kameraer, der fanger varmesignaturen, der naturligt stammer fra levende hudvæv, er ideelle til sådanne forhold.

"Når du bruger termiske kameraer til at fange ansigtsbilleder, den største udfordring er, at det optagne termiske billede skal matches med en overvågningsliste eller et galleri, der kun indeholder konventionelle synlige billeder fra kendte interesserede personer, "Sagde Riggan." Derfor, problemet bliver det, der omtales som kryds-spektrum, eller heterogen, ansigtsgenkendelse. I dette tilfælde, ansigts sondebilleder erhvervet i en modalitet matches med en galleridatabase erhvervet ved hjælp af en anden billeddannelsesmodalitet. "

Denne tilgang udnytter avancerede domænetilpasningsteknikker baseret på dybe neurale netværk. Den grundlæggende tilgang består af to nøgledele:en ikke-lineær regressionsmodel, der kortlægger et givet termisk billede til en tilsvarende synlig latent repræsentation og et optimeringsproblem, der projicerer den latente projektion tilbage i billedrummet.

Detaljer om dette arbejde blev præsenteret i marts i et teknisk papir "Termisk til synlig syntese af ansigtsbilleder ved hjælp af flere regioner" ved IEEE vinterkonference om applikationer af computervision, eller WACV, i Lake Tahoe, Nevada, som er en teknisk konference bestående af forskere og forskere fra den akademiske verden, industri og regering.

På konferencen, Hærens forskere demonstrerede, at kombination af global information, såsom funktionerne fra hele ansigtet, og lokal information, såsom funktioner fra diskriminerende fiduciale regioner, for eksempel, øjne, næse og mund, forbedret diskrimineringen af ​​det syntetiserede billedsprog. De viste, hvordan de termisk-til-synlige kortlagte repræsentationer fra både globale og lokale regioner i den termiske ansigts signatur kunne bruges sammen til at syntetisere et raffineret synligt ansigtsbillede.

Optimeringsproblemet til syntetisering af et billede forsøger i fællesskab at bevare formen på hele ansigtet og udseendet af de lokale fiduciale detaljer. Brug af det syntetiserede termisk-til-synlige billeder og eksisterende synlige galleribilleder, de udførte ansigtsbekræftelseseksperimenter ved hjælp af en fælles open source dyb neurale netværksarkitektur til ansigtsgenkendelse. Den anvendte arkitektur er eksplicit designet til synligt baseret ansigtsgenkendelse. Det mest overraskende resultat er, at deres tilgang opnåede bedre verifikationsydelse end en generativ adversarial netværksbaseret tilgang, som tidligere viste fotorealistiske egenskaber.

Riggan tilskriver dette resultat, at spillet teoretiske mål for GAN'er straks søger at generere billeder, der er tilstrækkeligt ens i dynamisk område og fotolignende udseende til træningsbillederne, mens det undertiden forsømmer at bevare identificerende egenskaber, han sagde. Den fremgangsmåde, der er udviklet af ARL, bevarer identitetsoplysninger for at øge forskelsbehandling, for eksempel, øget genkendelsesnøjagtighed for både automatiske ansigtsgenkendelsesalgoritmer og menneskelig bedømmelse.

Som en del af papirpræsentationen, ARL-forskere fremviste en demonstration af denne teknologi i næsten realtid. Beviset for konceptdemonstration omfattede brug af et FLIR Boson 320 termisk kamera og en bærbar computer, der kører algoritmen i næsten realtid. Denne demonstration viste publikum, at et fanget termisk billede af en person kan bruges til at producere et syntetiseret synligt billede in situ. Dette arbejde modtog en pris for bedste papir i konferenceens ansigter/biometri -session, ud af mere end 70 præsenterede papirer.

Riggan sagde, at han og hans kolleger vil fortsætte med at udvide denne forskning under sponsorering af Defense Forensics and Biometrics Agency for at udvikle en robust evne til ansigtsgenkendelse om natten for soldaten.