Lyd, vibrationsgenkendelse øger kontekstbevidst computing

Smarte enheder kan virke dumme, hvis de ikke forstår, hvor de er, eller hvad folk omkring dem laver. Carnegie Mellon University forskere siger, at denne miljøbevidsthed kan forstærkes ved hjælp af komplementære metoder til analyse af lyd og vibrationer.

"En smart højttaler, der sidder på en køkkenbordplade, kan ikke finde ud af, om den er i et køkken, endsige vide, hvad en person laver i et køkken, " sagde Chris Harrison, adjunkt i CMU's Human-Computer Interaction Institute (HCII). "Men hvis disse enheder forstod, hvad der skete omkring dem, de kunne være meget mere nyttige. "

Harrison og kolleger i Future Interfaces Group vil i dag rapportere på Association for Computing Machinery's User Interface Software and Technology Symposium i Berlin om to tilgange til dette problem - en, der bruger de mest allestedsnærværende sensorer, mikrofonen, og en anden, der anvender en moderne version af aflytningteknologi, der blev brugt af KGB i 1950'erne.

I det første tilfælde, forskerne har søgt at udvikle et lydbaseret aktivitetsgenkendelsessystem, kaldet Ubicoustics. Dette system ville bruge de eksisterende mikrofoner i smarthøjttalere, smartphones og smartwatches, gør dem i stand til at genkende lyde forbundet med steder, såsom soveværelser, køkkener, workshops, indgange og kontorer.

"Hovedideen her er at udnytte de professionelle lydeffektbiblioteker, der typisk bruges i underholdningsindustrien, "sagde Gierad Laput, en ph.d. studerende i HCII. "De er rene, korrekt mærket, velsegmenteret og mangfoldig. Plus, vi kan transformere og projicere dem til hundredvis af forskellige variationer, skabe mængder af data, der er perfekte til træning af deep-learning-modeller.

"Dette system kan implementeres på en eksisterende enhed som en softwareopdatering og fungere med det samme, " han tilføjede.

Plug-and-play-systemet kunne fungere i ethvert miljø. Det kan advare brugeren, når nogen banker på hoveddøren, for eksempel, eller gå til næste trin i en opskrift, når den registrerer en aktivitet, som at køre en blender eller hakke.

Forskerne, herunder Karan Ahuja, en ph.d. studerende i HCII, og Mayank Goel, adjunkt ved Institut for Softwareforskning, begyndte med en eksisterende model til mærkning af lyde og tunede den ved hjælp af lydeffekter fra de professionelle biblioteker, såsom køkkenmaskiner, elværktøj, hårtørrer, tastaturer og andre kontekstspecifikke lyde. De ændrede derefter syntetisk lydene for at skabe hundredvis af variationer.

Laput sagde, at det er en udfordring at genkende lyde og placere dem i den rigtige kontekst. dels fordi flere lyde ofte er til stede og kan forstyrre hinanden. I deres tests, Ubicoustics havde en nøjagtighed på omkring 80 procent - konkurrencedygtig med menneskelig nøjagtighed, men endnu ikke god nok til at understøtte brugerapplikationer. Bedre mikrofoner, højere samplingshastigheder og forskellige modelarkitekturer kan alle øge nøjagtigheden med yderligere forskning.

En video, der forklarer Ubicoustics:

I et separat papir, HCII Ph.D. studerende Yang Zhang, sammen med Laput og Harrison, beskrive det, de kalder Vibrosight, som kan registrere vibrationer på bestemte steder i et rum ved hjælp af laservibrometri. Det ligner de lysbaserede enheder, KGB engang brugte til at detektere vibrationer på reflekterende overflader som f.eks. Vinduer, giver dem mulighed for at lytte til de samtaler, der genererede vibrationerne.

"Det fede ved vibrationer er, at det er et biprodukt af de fleste menneskelige aktiviteter, " sagde Zhang. Løb på et løbebånd, dunke en hammer eller skrive på et tastatur skaber alle vibrationer, der kan detekteres på afstand. "Den anden fede ting er, at vibrationer er lokaliseret til en overflade, " tilføjede han. I modsætning til mikrofoner, vibrationerne fra én aktivitet forstyrrer ikke vibrationer fra en anden. Og i modsætning til mikrofoner og kameraer, overvågning af vibrationer på bestemte steder gør denne teknik diskret og bevarer privatlivets fred.

Denne metode kræver en særlig sensor, en laveffektlaser kombineret med en motoriseret, styrbart spejl. Forskerne byggede deres eksperimentelle enhed for omkring $80. Reflekterende tags - det samme materiale, der bruges til at gøre cykler og fodgængere mere synlige om natten - er sat på de objekter, der skal overvåges. Sensoren kan monteres i et hjørne af et rum og kan overvåge vibrationer for flere genstande.

Zhang sagde, at sensoren kan registrere, om en enhed er tændt eller slukket med 98 procent nøjagtighed og identificere enheden med 92 procent nøjagtighed, baseret på objektets vibrationsprofil. Det kan også registrere bevægelse, såsom en stol, når nogen sidder i den, og den ved, når nogen har blokeret sensorens visning af et mærke, som når nogen bruger en vask eller en øjenskyllestation.

En video, der forklarer Vibrosight: