AI fornemmer folk poserer gennem vægge

Røntgensyn har længe virket som en langsigtet sci-fi-fantasi, men i løbet af det sidste årti har et team ledet af professor Dina Katabi fra MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL) hele tiden bragt os tættere på at se gennem vægge.

Deres seneste projekt, "RF-Pose, "bruger kunstig intelligens (AI) til at lære trådløse enheder at fornemme folks stillinger og bevægelser, selv fra den anden side af en væg.

Forskerne bruger et neuralt netværk til at analysere radiosignaler, der preller af folks kroppe, og kan derefter skabe en dynamisk pindefigur, der går, stopper, sidder og bevæger sine lemmer, mens personen udfører disse handlinger.

Holdet siger, at systemet kunne bruges til at overvåge sygdomme som Parkinsons og multipel sklerose (MS), give en bedre forståelse af sygdomsprogression og give læger mulighed for at justere medicin i overensstemmelse hermed. Det kunne også hjælpe ældre mennesker til at leve mere selvstændigt, samtidig med at den giver den ekstra sikkerhed ved overvågning af fald, skader og ændringer i aktivitetsmønstre.

(Alle data, som teamet har indsamlet, er underlagt samtykke og er anonymiseret og krypteret for at beskytte brugernes privatliv. Til fremtidige applikationer fra den virkelige verden, holdet planlægger at implementere en "samtykkemekanisme", hvor den person, der installerer enheden, bliver opfordret til at udføre et bestemt sæt bevægelser, for at den kan begynde at overvåge miljøet.)

Holdet arbejder i øjeblikket med læger for at udforske flere anvendelser inden for sundhedsvæsenet.

"Vi har set, at overvågning af patienters ganghastighed og evne til at udføre grundlæggende aktiviteter på egen hånd giver sundhedsudbydere et vindue ind i deres liv, som de ikke havde før, som kunne have betydning for en lang række sygdomme, " siger Katabi, som var med til at skrive et nyt papir om projektet. "En vigtig fordel ved vores tilgang er, at patienter ikke behøver at bære sensorer eller huske at oplade deres enheder."

Udover sundhedspleje, holdet siger, at RF-Pose også kunne bruges til nye klasser af videospil, hvor spillere bevæger sig rundt i huset, eller endda i eftersøgnings- og redningsmissioner for at hjælpe med at lokalisere overlevende.

"Ligesom hvordan mobiltelefoner og Wi-Fi-routere er blevet væsentlige dele af nutidens husholdninger, Jeg tror, ​​at trådløse teknologier som disse vil hjælpe med at drive fremtidens hjem, " siger Katabi, der skrev det nye papir sammen med ph.d. studerende og hovedforfatter Mingmin Zhao, MIT professor Antonio Torralba, postdoc Mohammad Abu Alsheikh, kandidatstuderende Tianhong Li og Ph.D. studerende Yonglong Tian og Hang Zhao. De vil præsentere det senere på måneden på Conference on Computer Vision and Pattern Recognition (CVPR) i Salt Lake City, Utah.

En udfordring, forskerne måtte tage fat på, er, at de fleste neurale netværk trænes ved hjælp af data mærket med håndkraft. Et neuralt netværk trænet til at identificere katte, for eksempel, kræver, at folk ser på et stort datasæt med billeder og mærker hver enkelt som enten "kat" eller "ikke kat". Radiosignaler, imens, kan ikke nemt mærkes af mennesker.

For at løse dette, forskerne indsamlede eksempler ved hjælp af både deres trådløse enhed og et kamera. De samlede tusindvis af billeder af mennesker, der gjorde aktiviteter som at gå, taler, siddende, åbne døre og vente på elevatorer.

De brugte så disse billeder fra kameraet til at udtrække pindefigurerne, som de viste for det neurale netværk sammen med det tilsvarende radiosignal. Denne kombination af eksempler gjorde det muligt for systemet at lære sammenhængen mellem radiosignalet og pindefigurerne fra personerne i scenen.

Efter træning, RF-Pose var i stand til at estimere en persons kropsholdning og bevægelser uden kameraer, kun ved hjælp af de trådløse reflekser, der preller af folks kroppe.

Da kameraer ikke kan se gennem vægge, netværket blev aldrig eksplicit trænet på data fra den anden side af en væg - hvilket gjorde det særligt overraskende for MIT-teamet, at netværket kunne generalisere sin viden til at kunne håndtere bevægelser gennem væggen.

"Hvis du tænker på computervisionssystemet som læreren, dette er et virkelig fascinerende eksempel på, at eleven overgår læreren, " siger Torralba.

Udover at føle bevægelse, forfatterne viste også, at de kunne bruge trådløse signaler til nøjagtigt at identificere nogen 83 procent af tiden ud af en line-up på 100 personer. Denne evne kunne være særlig nyttig til anvendelse af eftersøgnings- og redningsoperationer, når det kan være nyttigt at kende identiteten af ​​bestemte mennesker.

For dette papir, modellen udsender en 2-D pindefigur, men teamet arbejder også på at skabe 3D-repræsentationer, der ville være i stand til at afspejle endnu mindre mikrobevægelser. For eksempel, det kan muligvis se, om en ældre persons hænder ryster regelmæssigt nok til, at de måske ønsker at få tjekket op.

"Ved at bruge denne kombination af visuelle data og AI til at se gennem vægge, vi kan give bedre sceneforståelse og smartere miljøer til at leve mere sikkert, mere produktive liv, "siger Zhao.