Ny teknologi bryder igennem tegnsprogsbarrierer

Muligheder, der engang var langt væk fra det hørehæmmede samfund, vil blive en realitet med en banebrydende tegnsprogsoversætter. Ingeniører fra Michigan State University udviklede og patenterede en teknologi, der – i modsætning til tidligere oversættermekanismer – er ikke-invasiv og lige så bærbar som et rør Chapstick.

"Vi leverer en allestedsnærværende løsning til tegnsprogsoversættelse, " sagde Mi Zhang, adjunkt i el- og computerteknik. "Hørehæmmede personer, der har brug for at kommunikere med en person, der ikke forstår tegnsprog, kan få en personlig virtuel tolk når som helst, overalt."

Hundredtusinder af hørehæmmede stoler på amerikansk tegnsprog, eller ASL, at kommunikere. Uden tolk til stede, de har ikke de samme beskæftigelsesmuligheder og er ofte dårligere stillet i følsomme eller følsomme situationer, sagde Zhang.

"Tænk over, om du var på hospitalet og havde brug for at kommunikere med en læge. Du ville skulle vente på, at hospitalets oversætter - hvis de har en - kommer, oprette forbindelse til en gratis tjeneste eller stole på, at et familiemedlem er til stede, " sagde Zhang. "Dette kompromitterer dit privatliv og kan forværre en helbredsmæssig nødsituation. Dette er blot et eksempel, der viser det kritiske behov for tegnsprogsoversættelsesteknologi."

Zhang og kolleger, doktorand Biyi Fang og bachelor Jillian Co, så en mulighed for at hjælpe den hørehæmmede befolkning med at bryde igennem kommunikationsbarrieren for hørende flertal.

Zhangs teknologi, kaldet DeepASL, indeholder en deep learning – eller maskinlæring baseret på data inspireret af hjernens struktur og funktion – algoritme, der automatisk oversætter tegn til engelsk. Teknologien fungerer gennem en tre-tommer sensorisk enhed, udviklet af Leap Motion, der er udstyret med kameraer til at fange bevægelser af hænder og fingre på en kontinuerlig måde.

"Leap Motion konverterer bevægelserne af ens hænder og fingre til skeletlignende led. Vores dybe læringsalgoritme opfanger data fra de skeletlignende led og matcher det med tegn på ASL, " sagde Fang.

Svarende til at konfigurere Siri på en ny iPhone, brugere underskriver visse ord for at gøre deres hænder og led bekendt med teknologien og sensorerne. De kan også oprette brugerdefinerede tegn til deres navne eller ikke-ordbogsord ved at stave dem ud, og har mere lethed og komfort i at kommunikere.

"Et kendetegn ved DeepASL er, at det kan oversætte hele sætninger, uden at brugerne skal holde pause efter hvert tegn. Andre oversættere er ord-for-ord, kræver, at brugerne holder pause mellem tegnene. Denne begrænsning forsinker samtaler ansigt til ansigt betydeligt, gør samtaler svære og akavede, " Fang sagde. "Vores teknologi er også ikke-påtrængende, i modsætning til andre tolketeknologier, der kræver, at underskrivere bærer handsker, få dem til at føle sig marginaliserede, fordi man bogstaveligt talt kan se deres handicap."

Ud over dets evne til at hjælpe hørehæmmede med at kommunikere til andre, DeepASL kan hjælpe dem med at lære ASL virtuelt ved at give feedback i realtid på deres underskrift. Tidligere teknologi, Zhang forklarede, gennem video tutorials havde begrænset personlig assistance.

"Omkring 90 procent af døve børn er født af hørende forældre. Disse forældre lærer tegnsprog for at kommunikere med deres børn, men har normalt ikke tid til at deltage i liveundervisning, " sagde Zhang. "Vores teknologi kan måle deres signering for at hjælpe dem med at lære og forbedre."

Mens Zhangs teknologi oversætter tegnsprog til verbal samtale, han forklarede, at eksisterende, vellykkede talegenkendelsesteknologier kan hjælpe den anden side af samtalen, giver verbale kommunikatører mulighed for at tale med hørehæmmede.

Forskerne siger, at det næste skridt for deres teknologi er kommercialisering, gør det tilgængeligt for de hundredtusindvis af mennesker, der har brug for en mere tilgængelig tolk. Leap Motion, de sagde, sælges for omkring $78, gør det til en overkommelig mulighed. De planlægger også at gøre teknologien kompatibel med iPhones, samt at lære det forskellige tegnsprog.