Æg, vittigheder, og vejrmelding:Alexas eventyr i amerikansk tegnsprog

Abhishek Singh stiller et simpelt spørgsmål:Hvis stemmen er fremtiden for computing, hvad med dem, der ikke kan høre? Alexa er alle ører for døve samfund takket være en app -prototype, der uden tvivl vil tiltrække en vis interesse og inspiration.

Trods alt, tech watching ekspert har sagt, at taleteknologi figurer godt i vores computing futures; som BBC News sagde, "De sidste par år har oplevet en stigning i populariteten af ​​stemmeassistenter, der drives af Amazon, Google og Apple. "

Tak til Abhishek Singh, Alexa kan reagere på tegnsprog. Vil du tilføje æg til din indkøbsliste? Har du brug for at vide, om det regner på Manhattan? Intet problem, Alexa kan besvare sådanne spørgsmål for dem, der ikke kan tale tydeligt nok eller høre.

Singhs geniale projekt involverede et kamera-baseret system. Han havde tænkt på, at det kan tage for hjemmet at blive designet med døve brugere i tankerne. Som resultat, han riggede Amazons Alexa, sagde BBC, at svare i tekst til amerikansk tegnsprog (ASL).

Singh fortalte YouTube -besøgende i en video, der viser sit tegnsprog i aktion, at han brugte dyb læring med TensorFlow.js for at få Amazon Echo til at reagere på tegnsprog.

Specifikt, som BBC bemærkede, "Udvikleren uddannede en AI ved hjælp af maskinlæringsplatformen Tensorflow, som indebar gentagne gange gestikuleringer foran et webcam for at lære systemet det grundlæggende i tegnsprog. "

Når systemet var i stand til at reagere på hans håndbevægelser, han sluttede den til Googles tekst-til-tale-software for at læse de tilsvarende ord højt.

Singh sagde, at i starten "Som et tankeeksperiment, Jeg brugte dyb læring til at få AIexa til at reagere på tegnsprog. "

Kameraet fortolker brugerens tegn. Tegn konverteres til tekst og tale. "Alexa, Hej, "kommer højt og tydeligt. "Hej, der. " "Alexa, hvordan er vejret?" "Lige nu i New York er det 29 grader Celsius med delvis solrig himmel. Dagens vejrudsigt har masser af skyer ..." "Alexa, hvad er fem fod i meter? " "Fem fod er 1,5 meter." Og så videre. Og hvad ville en sessionsrapport være uden en anmodning om en vittighed:"Alexa, fortæl mig en vittighed. "Jeg vil ikke gentage det, bare fordi det er halt. På den note (kan ikke bebrejde ham) sagde Abhishek "Alexa, farvel."

Spørgsmålet er, kunne hans prototype have indflydelse på fremtiden for stemmeassistenter? BBC citerede Singh for at sige, at der ikke var nogen grund til, at Amazon Show "eller nogen af ​​de kamera- og skærmbaserede stemmeassistenter ikke kunne bygge denne funktionalitet lige ind."

Hurtigt selskab citerede Singh:"I en ideel verden ville jeg have bygget dette direkte på showet, men enhederne er ikke så hackbare endnu, så ikke kunne finde en måde at gøre det på. "