Forskeres nye metode gør det muligt at identificere en person gennem vægge fra kandidatvideooptagelser, kun bruger WiFi

Forskere i laboratoriet ved UC Santa Barbara professor Yasamin Mostofi har aktiveret, for første gang, afgøre, om personen bag en væg er den samme person, som optræder i givne videooptagelser, bruger kun et par WiFi-transceivere udenfor.

Dette nye video-WiFi cross-modale gangbaserede personidentifikationssystem, som de refererer til som XModal-ID (udtales Cross-Modal-ID), kunne have en række anvendelsesmuligheder, fra overvågning og sikkerhed til smarte hjem. For eksempel, overveje et scenarie, hvor retshåndhævelsen har en videooptagelse af et røveri. De har mistanke om, at røveren gemmer sig inde i et hus. Kan et par WiFi-transceivere uden for huset afgøre, om personen inde i huset er den samme som den i røverivideoen? Spørgsmål som dette har motiveret denne nye teknologi.

"Vores foreslåede tilgang gør det muligt at afgøre, om personen bag væggen er den samme som den i videooptagelser, bruger kun et par hyldevare WiFi-transceivere udenfor, " sagde Mostofi. "Denne tilgang bruger kun modtagne effektmålinger af et WiFi-link. Det kræver ikke nogen forudgående WiFi- eller videotræningsdata for personen for at blive identificeret. Det kræver heller ikke noget kendskab til operationsområdet."

Den foreslåede metode og eksperimentelle resultater vil blive vist på den 25. internationale konference om mobil computing og netværk (MobiCom) den 22. oktober.

I holdets eksperimenter, en WiFi-sender og en WiFi-modtager er bag vægge, uden for et rum, hvor en person går. Senderen sender et trådløst signal, hvis modtagne effekt måles af modtageren. Derefter, givet videooptagelser af en person fra et andet område – og ved kun at bruge sådanne modtagne trådløse effektmålinger – kan modtageren afgøre, om personen bag væggen er den samme person, der ses på videooptagelserne.

Denne innovation bygger på tidligere arbejde i Mostofi Lab, som har været banebrydende inden for sansning med dagligdags radiofrekvenssignaler som WiFi siden 2009.

"Imidlertid, identificere en person gennem vægge, fra kandidatvideooptagelser, er et betydeligt udfordrende problem, " sagde Mostofi. Hendes laboratoriums succes i denne bestræbelse skyldes den nye foreslåede metode, de udviklede.

"Måden hver enkelt af os bevæger sig på er unik. Men hvordan fanger og sammenligner vi korrekt ganginformationsindholdet i video- og WiFi-signalerne for at fastslå, om de tilhører den samme person?"

Forskerne har foreslået en ny måde at for første gang, kan oversætte videogangindholdet til det trådløse domæne.

"Vores tilgang er tværfaglig, trækker fra områder af både trådløs kommunikation og vision, " sagde Chitra Karanam, en af ​​tre ph.d. studerende på projektet. I betragtning af nogle videooptagelser, holdet brugte først en menneskelig mesh-gendannelsesalgoritme til at udtrække 3-D-nettet, der beskriver den ydre overflade af den menneskelige krop som en funktion af tiden. De brugte derefter Born elektromagnetisk bølgetilnærmelse til at simulere det RF-signal, der ville være blevet genereret, hvis denne person gik i et WiFi-område.

Dernæst brugte de deres tids-frekvensbehandlingstilgang til at udtrække vigtige gangfunktioner fra både det rigtige WiFi-signal (der blev målt bag væggen) og det videobaserede simulerede signal. De to signaler sammenlignes derefter for at afgøre, om personen i WiFi-området er den samme person i videoen.

Forskernes behandlingspipeline involverer en række matematiske funktioner, herunder korttids Fourier-transformation og Hermite-funktioner, for at få spektrogrammet af det modtagne signal. "Et spektrogram bærer frekvens-tidsindholdet af signalet, som implicit bærer personens gangoplysninger, " forklarede Belal Korany, endnu en ph.d. elev involveret i indsatsen.

Flere vigtige gangfunktioner uddrages derefter fra begge spektrogrammer og sammenlignes korrekt for at erklære, om personen i videoen er bag væggen.

"Vi har testet denne teknologi grundigt på vores campus, " sagde Herbert Cai, den tredje ph.d. elev på projektet. Laboratoriet har testet deres nye teknologi den 1. 488 WiFi-videopar, hentet fra en pulje på otte personer, og i tre forskellige områder bag væggen, og opnåede en samlet nøjagtighed på 84 % i korrekt identifikation af personen bag væggen.