Hvordan AI kunne hjælpe dig med at lære tegnsprog

Tegnsprog er ikke lette at lære og er endnu sværere at undervise i. De bruger ikke kun håndbevægelser, men også munder, ansigtsudtryk og kropsholdning for at kommunikere mening. Denne kompleksitet betyder, at professionelle undervisningsprogrammer stadig er sjældne og ofte dyre. Men alt dette kan snart ændre sig, med lidt hjælp fra kunstig intelligens (AI).

Mine kolleger og jeg arbejder på software til at lære dig selv tegnsprog på en automatiseret, intuitiv måde. I øjeblikket, dette værktøj kan analysere, hvordan en elev udfører et tegn på schweizisk-tysk tegnsprog og give detaljeret feedback om, hvordan man forbedrer håndformen, bevægelse, placering og tidspunkt. Men vores håb er, at vi kan bruge AI'en bag værktøjet til at skabe software, der kan undervise i forskellige tegnsprog fra hele verden, og tage højde for mere indviklede træk ved sprogene, såsom sætningsgrammatik og kommunikationens ikke-håndselementer.

AI er tidligere blevet brugt til genkendelsen, oversættelse eller tolkning af tegnsprog. Men vi mener, at vi er de første, der rent faktisk forsøger at vurdere de tegn, en person gør. Vigtigere, vi ønsker at udnytte AI-teknologien til at give feedback til brugeren om, hvad de gjorde forkert.

At øve og vurdere tegnsprog er svært, fordi du ikke kan læse eller skrive det. I stedet, vi har lavet et computerspil. For at øve et tegn, spillet viser dig en video af det tegn, der udføres, eller giver dig det nærmeste talte ord, der beskriver det (eller begge dele). Den optager derefter dit forsøg på at genskabe skiltet ved hjælp af et videokamera og fortæller dig, hvordan du kan gøre det bedre. Vi har fundet ud af, at gør det til et spil tilskynder folk til at konkurrere om at få den bedste score og forbedre deres signatur undervejs.

Kunstig intelligens bruges på alle stadier af præstationsvurdering. Først, et convolutional neural network (CNN) uddrager information fra videoen om din overkrops stilling. En CNN er en type AI løst baseret på den behandling, der udføres af den visuelle cortex i din hjerne. Din skeletposeoplysninger og den originale video sendes derefter til håndformanalysatoren, hvor en anden CNN ser på videoen og trækker håndforminformation ud på hvert punkt i videoen.

Skeletinformationen og håndformerne sendes derefter til en håndbevægelsesanalysator, som bruger noget, der hedder en Hidden Markov model (HMM). Denne type AI giver os mulighed for at modellere skelettet og oplysninger om håndform over tid. Den sammenligner derefter, hvad den har set, med en referencemodel, som repræsenterer den perfekte version af det tegn, og producerer en score for, hvor godt det matcher.

Resultaterne af både håndformsanalysatoren og håndbevægelsesanalysatoren scores derefter og præsenteres for dig som feedback. Så al AI er skjult bag en brugervenlig grænseflade, lader dig fokusere på læringen. Vores håb er, at den automatiske, personlig feedback vil gøre eleverne mere engagerede i processen med at lære at underskrive.

At bringe AI til klasseværelset

Indtil nu, softwaren virker kun til schweizisk-tysk tegnsprog. Men vores forskning tyder på, at systemets "arkitektur" ikke behøver at ændres for at kunne håndtere andre sprog. Det ville bare have brug for flere videooptagelser af hvert sprog til at fungere som data at træne det med.

Et forskningsområde, vi gerne vil udforske, er, hvordan vi kunne bruge det, som AI allerede ved, til at hjælpe det med at lære nye sprog. Vi vil også gerne se, hvordan vi kan tilføje andre aspekter af kommunikation, mens vi bruger tegnsprog, såsom ansigtsudtryk.

I øjeblikket, softwaren fungerer bedst i et enkelt miljø, såsom et klasseværelse. Men hvis vi kan udvikle det til at tolerere mere variation i baggrunden af ​​videooptagelserne, vurderer det, at det kan blive ligesom mange populære apps, der giver dig mulighed for at lære et sprog, uanset hvor du er, uden hjælp fra en ekspert. Med denne form for teknologi udviklet, det vil snart være muligt at gøre indlæring af tegnsprog lige så tilgængelig for alle som at lære deres talte søskende.

Denne artikel er genudgivet fra The Conversation under en Creative Commons-licens. Læs den originale artikel.