Android-telefon bliver værktøj til live samtaler mellem døve og hørende

Kunde:"Hej." Barista:"Hej. Hvad kan jeg få dig?" Kunde:"Jeg vil gerne have te." For mange, dette er det mest verdslige, forglemmelig udveksling mellem to mennesker. For dem, der kender begrænsninger for døve og hørehæmmede, udvekslingen er noget ud over det sædvanlige.

Dimitri Kanevsky-forsker og ingeniør Chet Gnegy har arbejdet sammen for at bringe Android-appen ud, Live transskribering. Denne app tager tale og forvandler den til real-time billedtekster ved hjælp af telefonens mikrofon.

Du kan se ord vises på din Android-telefon, mens de bliver talt. Du deltager i samtalen ved at skrive dit svar på skærmen, via et returtastatur.

De hørende befolkninger og de døve og hørehæmmede kan nemt føre samtaler. Kanalen er simpelthen appen på en Android-telefon.

"Vi kan nu gøre ting, som slet ikke var muligt for et par år siden, som at hoppe ind i samtaler ved middagsbordet eller afslappet deltage, når muligheden byder sig, sagde Christian Vogler, professor og forsker, Gallaudet Universitet.

Appens skabere har taget højde for, at appen kunne nydes på flere sprog end kun på engelsk. Potentielle brugere vil have deres valg mellem over 70 sprog og dialekter; de kan forvente nøjagtige billedtekster på det sprog, der tales.

Kablet beskrev appen som muliggør "tale-til-tekst-intelligens", hvor hørehæmmede eller døve kan modtage "tekstrepræsentationer af talte samtaler, mens de foregår."

En video blev postet om dette i mandags. "Forestil dig en verden, hvor mennesker, der er døve eller hørehæmmede, kan have daglige personlige samtaler, i realtid."

Hvad sætter dette show på vejen? Kanevesky, døv siden barndommen, har arbejdet med talegenkendelse og kommunikationsteknologi i mere end et minut – hvad med de sidste 30 år.

Live Transskribering-teamet startede med et spørgsmål/udfordring:Hvad hvis vi brugte skybaseret automatisk talegenkendelse til at vise talte ord på en skærm?

De byggede en prototype. I en blog, Brian Kernler sagde, at Googlere på tværs af kontorer fra Mountain View til Taipei blev involveret. Også, Gallaudet Universitet, skolen for døve og hørehæmmede, slået ind, for at kontrollere, at Live Transscribe ville være en hjælp til daglig brug. Skolen hjalp med test og forbedringer. Gallaudet hyldes som et universitet for døve og hørehæmmede, et ideelt valg til feedback. Skolens programmer og tjenester er specielt designet til at imødekomme døve og hørehæmmede elever.

"På den tekniske side, appen er afhængig af cloud ASR for at give større nøjagtighed kombineret med en neural netværksbaseret taledetektor på enheden, " sagde SiliconANGLE. Google Play-produktet bemærker følgende funktioner i appen:(1) brugeren kan svare uden at tale ved at skrive svar (2) der er valgfri haptisk feedback, der signalerer dig, når nogen begynder eller genoptager at tale.

"Live Transskribering vil gradvist udrulles i en begrænset beta til brugere over hele verden via Play Butik og forudinstalleret på Pixel 3-enheder. Tilmeld dig her for at få besked, når det er mere bredt tilgængeligt." ( Kablet :Live Transscribe vil blive installeret på Googles Pixel 3-smartphones, men ellers er det kun tilgængeligt via en beta nu.)

Privatliv? Siden sagde, at samtaleudskrifter ikke gemmes på servere; de forbliver sikre på din enhed.

Aatif Sumar, Android politi :"For en app, der formodes at være i beta, det fungerer imponerende godt. Jeg havde samtaler rundt om telefonen, og appen var i stand til at opfange det meste af det, der blev sagt. Selv når transskriptionen savnede et ord eller to, du kunne få essensen af ​​samtalen."

Sumar skrev om det haptiske træk, også. "Hvis samtalen stopper et stykke tid og derefter genoptages, telefonen kan vibrere for at advare dig."

En interessant observation fra Lauren Goode i Kablet :Live Transskribering handler "mindre om at hjælpe en bruger med at navigere selve telefonen og mere om folk, der bruger telefoner til at navigere i den verden, der eksisterer omkring os, når vi ikke er begravet i vores telefoner."

© 2019 Science X Network