AI forbedrer touchscreen-grænseflader for brugere med funktionsnedsættelser

Forskere ved Aalto Universitet, Finland, og Kochi University of Technology, Japan, udviklet en ny algoritmisk tilgang til brugergrænsefladeoptimering, der tager højde for individuelle forskelle.

"Størstedelen af ​​tilgængelige brugergrænseflader er rettet mod gennemsnitlige brugere. Denne "one size fits all"-tankegang tager ikke højde for individuelle forskelle i evner – de aldrende og handicappede brugere har mange problemer med daglig brug af teknologi, og ofte er disse meget specifikke for deres evner og omstændighederne, " siger postdoc-forsker Jussi Jokinen ved Aalto Universitet."

"Der er måder til automatisk at optimere brugergrænsefladen, men dette er kun effektivt, hvis vi har en realistisk model af brugeren. Tidligere, designere havde ikke detaljerede modeller, der er baseret på psykologisk forskning og kan bruges til at forudsige, hvordan forskellige individer udfører i interaktive opgaver", han fortsætter.

Eksempel på problemer for brugere med handicap

• Essentiel tremor hindrer brugerens evne til at pege præcist, fører til enorme vanskeligheder med berøringsbaserede grænseflader. En optimering kan øge størrelsen af ​​brugergrænsefladeelementerne og gruppere funktioner sammen for at tilpasse sig skærmstørrelsesbegrænsningerne.
• Dysleksi gør korrekturlæsning af indtastet tekst og læseord i brugergrænsefladen mere tidskrævende og tilbøjelige til fejl. En optimizer kan justere antallet af tekst i brugergrænsefladen og introducere hjælpemidler til at sikre, at den indtastede tekst er korrekt.
• Demens nedsætter evnen til at tænke og huske, gør brugen af ​​de fleste daglige brugergrænseflader vanskelig eller umulig. En optimizer kan foreslå design, som minimerer hukommelsesbelastningen og kræver så lidt forudgående viden fra brugeren som muligt. De prioriterer hyppige eller vigtige opgaver.

Grundlaget for deres arbejde er en ny prædiktiv model for interaktion, som forudsiger, hvordan individuelle evner påvirker tekstindtastning på en berøringsskærm. Modellen kombinerer psykologisk forskning i fingerpegning og øjenbevægelser, giver den mulighed for at forudsige tekstindtastningshastighed, tastefejl, og korrekturlæsning.

For at fremvise modellen, forskere brugte det til at simulere en bruger med væsentlig tremor. De forudsagde, at det næsten er umuligt for en sådan bruger at skrive med en smartphone, der har det normale Qwerty-tastatur, fordi mere end halvdelen af ​​alle indtastede taster er stavefejl. "Efter denne forudsigelse, vi koblede tekstindtastningsmodellen til en optimering, som itererer gennem tusindvis af forskellige brugergrænsefladedesigns. Ingen rigtig bruger kunne naturligvis prøve alle disse designs. Af denne grund er det vigtigt, at vi kunne automatisere evalueringen med vores beregningsmodel", Fortæller Jokinen.

Resultatet af optimeringen var en tekstindtastningsgrænseflade, som modellen forudsagde at være overlegen for brugere med essentiel tremor. Der var næsten ingen indtastningsfejl i indtastningen længere. Efter modellens forudsigelse, det optimerede layout blev testet med en rigtig bruger med essentiel tremor. Modellens forudsigelse og virkelige observationer faldt sammen, og brugeren var i stand til at skrive næsten fejlfri beskeder. "Dette er selvfølgelig kun en prototypegrænseflade, og ikke beregnet til forbrugermarkedet. Vores arbejde som forskere er at komme med løsninger", Jokinen minder. "Jeg håber, at designere henter herfra og ved hjælp af vores model og optimizer opretter individuelt målrettede, polerede grænseflader. "

Modellen kan bruges til at simulere en række forskellige brugere i forskellige interaktive opgaver. "Vi startede med tekstindtastning, som er en hverdagsopgave. Vi valgte at simulere og optimere for essentiel tremor, fordi det gør tekstindtastning meget vanskelig. Nu hvor vi har bekræftet gyldigheden og anvendeligheden af ​​modellen, det kan udvides til andre use cases og handicap. For eksempel, vi har modeller til at simulere, hvordan det at være nybegynder eller ekspert med en grænseflade påvirker brugerens ydeevne. Vi kan også modellere, hvordan hukommelsesforstyrrelser påvirker læring og daglig brug af grænseflader. Det vigtige er, at uanset evne eller handicap, der må være en psykologisk gyldig teori bag modellering af det. Dette gør modellens forudsigelser troværdige, og optimeringen er målrettet korrekt", Jokinen opsummerer.

Resultaterne af forskningen er publiceret i IEEE Pervasive Computing Journal . Forskningen var et samarbejde mellem Aalto University, Finland, og Kochi Technical University, Japan. Forskergruppen hos Aalto, ledet af professor Antti Oulasvirta, fokuserer på beregningsmæssige optimeringsmetoder og matematiske modeller for menneskelig adfærd til at designe brugergrænseflader.