Hvordan AI kan hjælpe med at kortlægge tegnsprog

Ligesom talte sprog udvikler tegnsprog sig organisk og har ikke altid samme oprindelse. Dette giver forskellige måder at kommunikere og kommentere på. Dette er emnet for Manolis Fragkiadakis' ph.d. afhandling.

"I modsætning til hvad mange mennesker antager, er der faktisk ikke noget universelt tegnsprog," siger Fragkiadakis. "Tegnsprog kan være endnu mere fragmenteret end talesprog:der kan være flere sprog i samme land. Fragmenteringen gør det svært at kodificere tegnsprog eller skrive om det akademisk. Det vil vi gerne ændre på."

"Vi har derfor lavet et værktøj til ordbøger til tegnsprog," forklarer Fragkiadakis. "Til dette bruger vi maskinlæring, en form for kunstig intelligens. Ved at analysere leddenes position og bevægelser i tegnhænder, skal systemet identificere, hvilket ord fra hvilket sprog der signes fra."

Dette viste sig slet ikke at være ligetil. "De seneste års teknologiske udvikling er endnu ikke forenelig med tegnsprog, så det går stadig langsomt," forklarer Fragkiadakis. "De store sprogmodeller, vi har i øjeblikket, er kun trænet på ét tegnsprog, og i det meste af det videomateriale, der bruges til dette, ser man underskriveren stå lige foran kameraet, så skiltene er let at se.

"I min forskning trænede vi AI på både flere tegnsprog og flere højttalere. Til dette blev kameraet placeret mellem to højttalere, så AI'en skulle være i stand til at udtrække den samme information fra en anden position."

Indtil videre har denne teknik primært resulteret i, at der er mere viden om forskellige tegnsprog, men for fremtiden forudser Fragkiadakis også praktiske anvendelser inden for tegnsprogssamfundet. "I fremtiden kan kunstig intelligens hjælpe med at genkende både fællestræk og distinktioner mellem forskellige tegnsprog, hvilket hjælper kommunikationen mellem brugere."

Derudover siger Fragkiadakis, at det er nyttigt, at hans forskning har hjulpet med bedre at identificere forskellene mellem tegnsprog. Hvordan spiller kultur for eksempel en rolle? "Jeg er græsk, så jeg bruger meget plads på at skrive under," siger Fragkiadakis, "dette kan ændre betydningen af ​​det, jeg vil sige. Større bevægelser kan for eksempel signalere, at nogen 'råber', men de gør det ikke. behøver det ikke at være."

I sidste ende skal denne viden forbedre tilgængeligheden af ​​tegnsprog. "Håbet er, at vi med denne forskning vil være i stand til at gøre tegnsproget mere tilgængeligt for alle, lige fra akademikere til dagligdagstalere. Der er stadig for lidt viden om de forskellige tegnsprogs egenskaber, og det vil vi ændre på."

Leveret af Leiden University