StorySign app konverterer tekst i børnebøger til tegnsprog

Et team af forskere og ingeniører hos Huawei AI har fundet frem til en unik måde at hjælpe døve børn med at lære at læse tegnsprog – ved at bruge AI og augmented reality til at fortolke trykte bøger. De har også fundet en måde at hjælpe døve børn med at udvikle læseglæde.

Idéen til appen var et svar på den frustration, mange forældre føler, når de forsøger at læse en bog for deres døve barn – i de fleste sådanne situationer, en hørende forælder forsøger at inkludere deres døve barn i en aktivitet, der er en automatisk overgangsritual for dem uden hørenedsættelse. For at løse dette problem, forskere hos Huawei slog til på ideen om at bruge kunstig intelligens til at hjælpe et barn med at læse en bog. AI/AR-systemet er indlejret i en app kaldet StorySign, der kan køre på en telefon eller tablet - forælderen eller barnet holder telefonen over siden, og en avatar er overlejret ved siden af ​​teksten og fortolker ordene via signering.

Som historien skrider frem, appen fremhæver de ord, der signeres, hjælpe barnet til at forstå, at ordene er forbundet med det tegn, der bruges til at repræsentere dem. Forskerne rapporterer, at de også gjorde et betydeligt arbejde for at udvikle en avatar, som børn kunne relatere til. De arbejdede sammen med Aardman Animations for at skabe en avatar ved navn Star, som gør mere end blot at vise håndbevægelser – hun bruger også krops- og ansigtsudtryk til at formidle følelser, hjælpe barnet til bedre at forstå den kontekstuelle karakter af materialet i bogen. En advarsel er, at appen kun fungerer med visse børnebøger, alle udgivet af Penguin Random House.

Appen er udviklet med støtte fra European Union of the Deaf og British Deaf Association. Det er gratis, og tilgængelig til Android- og Apple-produkter på 10 sprog i 10 europæiske lande. Udviklerne siger, at hvis appen viser sig populær, det vil blive gjort tilgængeligt i flere regioner og på flere sprog.

© 2018 Science X Network