Nyt analyseværktøj lokaliserer skydespil ved hjælp af smartphone -video

Forskere ved Carnegie Mellon University har udviklet et system, der præcist kan lokalisere et skydespil baseret på videooptagelser fra så få som tre smartphones.

Da demonstreret ved hjælp af tre videooptagelser fra masseskyderiet i 2017 i Las Vegas, der efterlod 58 mennesker døde og hundredvis sårede, systemet estimerede korrekt skytterens faktiske placering - den nordlige fløj af Mandalay Bay -hotellet. Skønnet var baseret på tre skud, der blev affyret inden for det første minut efter, hvad der ville være en langvarig massakre.

Alexander Hauptmann, forskningsprofessor i CMU's Language Technologies Institute, sagde systemet, kaldet Video Event Reconstruction and Analysis (VERA), erstatter ikke nødvendigvis de kommercielle mikrofonarrays til at lokalisere skydespil, som offentlige sikkerhedsansatte allerede bruger, selvom det kan være et nyttigt supplement til offentlig sikkerhed, når kommercielle arrays ikke er tilgængelige.

En vigtig motivation for at samle VERA var at skabe et værktøj, der kunne bruges af menneskerettighedsarbejdere og journalister, der efterforsker krigsforbrydelser, terrorhandlinger og krænkelser af menneskerettighederne, Sagde Hauptmann.

"Militære og efterretningsagenturer udvikler allerede denne type teknologier, "sagde medforsker Jay D. Aronson, professor i historie ved CMU og direktør for Center for Menneskerettighedsvidenskab. "Vi synes, det er afgørende for menneskerettighedsfællesskabet at have de samme typer værktøjer. Det giver en nødvendig kontrol af statsmagt."

Forskerne præsenterede VERA og frigav den som open source-kode i sidste måned på Association for Computing Machinery's International Conference on Multimedia i Nice, Frankrig.

Hauptmann sagde, at han har brugt sin ekspertise inden for videoanalyse til at hjælpe efterforskere med at analysere begivenheder såsom Maidan -massakren i 2014 i Ukraine, hvilket efterlod mindst 50 demonstranter mod regeringens død. Inspireret af det arbejde - og indsigt fra ballistikeksperter og arkitektkolleger fra firmaet SITU Research - Hauptmann, Aronson og Junwei Liang, en ph.d. studerende i sprog- og informationsteknologi, har samlet flere teknologier til behandling af video, samtidig med at de automatiserer deres brug så meget som muligt.

VERA bruger maskinindlæringsteknikker til at synkronisere videofeedene og beregne placeringen af ​​hvert kamera baseret på, hvad kameraet ser. Men det er lyden fra videofeedene, der er afgørende for at lokalisere kilden til skudene, Sagde Hauptmann. Specifikt, systemet ser på tidsforsinkelsen mellem revnen forårsaget af en supersonisk kugles stødbølge og snudeblæsningen, som bevæger sig med lydens hastighed. Det bruger også lyd til at identificere den type pistol, der bruges, som bestemmer kuglehastighed. VERA kan derefter beregne skytterens afstand fra smartphonen.

"Da vi begyndte, vi troede ikke, at du kunne opdage revnen med en smartphone, fordi den er virkelig kort, "Sagde Hauptmann." Men det viser sig, at nutidens mobiltelefonmikrofoner er ret gode. "

Ved at bruge video fra tre eller flere smartphones, retningen, hvorfra skudene blev affyret - og skytterens placering - kan beregnes ud fra forskellene i, hvor lang tid det tager snudeblæsningen at nå hvert kamera.

Med spredning af masseprotester, der forekommer på steder som Hong Kong, Egypten og Irak, at identificere, hvor et skud stammer fra, kan være afgørende for at afgøre, om demonstranter, politi eller andre grupper kan være ansvarlige, når der sker et skyderi, Sagde Aronson.

Men VERA er ikke begrænset til at opdage skud. Det er et hændelsesanalysesystem, der kan bruges til at lokalisere en række andre lyde, der er relevante for undersøgelser af menneskerettigheder og krigsforbrydelser, han sagde. Han og Hauptmann håber, at andre grupper tilføjer funktionaliteter til open source-softwaren.

"Når det er open source, journalistik og menneskerettighedssamfund kan bygge på det på måder, vi ikke har fantasi til eller tid til at gøre, "Tilføjede Aronson.