I denne måned lange, hjemmestudie, børnedeltagere med ASD spillede matematikspil på en touchscreen-tablet, mens en socialt assisterende robot ved navn Kiwi brugte multimodale data til at give personlig feedback og instruktion. Kredit:Jain et al., Sci. Robot. 5, eaaz3791 (2020)
Mange børn med autisme oplever udviklingsforsinkelser, herunder kommunikations- og adfærdsmæssige udfordringer og vanskeligheder med social interaktion. Dette gør det at lære nye færdigheder til en stor udfordring, især i traditionelle skolemiljøer.
Tidligere forskning tyder på, at socialt assisterende robotter kan hjælpe børn med autisme med at lære. Men disse terapeutiske interventioner virker bedst, hvis robotten nøjagtigt kan fortolke barnets adfærd og reagere hensigtsmæssigt.
Nu, forskere ved USC's Department of Computer Science har udviklet personlige læringsrobotter til børn med autisme. De undersøgte også, om robotterne kunne vurdere et barns interesse for en opgave ved hjælp af maskinlæring.
I en af de største undersøgelser af sin art, forskerne placerede en socialt assisterende robot hjemme hos 17 børn med autisme i en måned. Robotterne tilpassede deres instruktion og feedback til hvert enkelt barns unikke læringsmønstre under interventionerne.
Efter at undersøgelsen var afsluttet, forskerne analyserede også deltagernes engagement og fastslog, at robotten autonomt kunne have registreret, om barnet var engageret eller ej, med 90 % nøjagtighed. Resultaterne af eksperimenterne blev offentliggjort i Grænser inden for robotteknologi og kunstig intelligens og Videnskab robotik , journaler den 6. november og 26. feb. henholdsvis.
Gør robotter smartere
Robotter er begrænset i deres evne til autonomt at genkende og reagere på adfærdsmæssige signaler, især i atypiske brugere og miljøer i den virkelige verden. Denne undersøgelse er den første til at modellere læringsmønstre og engagement hos børn med autisme på lang sigt, rammer i hjemmet.
"Nuværende robotsystemer er meget stive, " sagde hovedforfatter Shomik Jain, en matematikstuderende med progressiv grad rådgivet af pioneren inden for socialt assisterende robotteknologi, professor Maja Matarić.
"Hvis du tænker på et rigtigt læringsmiljø, læreren skal lære ting om barnet, og barnet vil lære ting af dem. Det er en tovejsproces, og det sker ikke med nuværende robotsystemer. Denne undersøgelse har til formål at gøre robotter smartere ved at forstå barnets adfærd og reagere på det i realtid."
Forskerne understreger, at målet er at øge menneskelig terapi, ikke erstatte det.
"Menneskelige terapeuter er afgørende, men de er måske ikke altid tilgængelige eller overkommelige for familier, " sagde Kartik Mahajan, en bachelorstuderende i datalogi og studiemedforfatter. "Det er her, socialt assisterende robotter som denne kommer ind."
Forbedring af læringsoplevelsen
Finansieret af et National Science Foundation (NSF) tilskud givet til Matarić, forskerholdet placerede robotten Kiwi i 17 børns hjem med autismespektrumforstyrrelser i omkring en måned. Børnedeltagerne var alle i alderen mellem 3 og 7 og fra Los Angeles-området.
Ved næsten daglige indgreb, børnene spillede matematikspil med rumtema på en tablet, mens Kiwi, en 2-fod høj robot klædt ud som en grøn fjerfugl, givet instruktion og feedback.
Kiwis feedback og spillenes sværhedsgrad blev personliggjort i realtid i henhold til hvert barns unikke læringsmønstre. Matarićs team i USC Interaction Lab opnåede dette ved at bruge forstærkende læring, et hurtigt voksende underområde af kunstig intelligens (AI).
Algoritmerne overvågede barnets præstationer i matematiklegene. For eksempel, hvis et barn svarede rigtigt, Kiwi ville sige noget som, "Godt arbejde!". Hvis de har et spørgsmål forkert, Kiwi kan måske give dem nogle nyttige tips til at løse problemet, og juster sværhedsgraden og feedback i fremtidige spil. Målet var at maksimere sværhedsgraden, samtidig med at man ikke presser eleven til at lave for mange fejl.
"Hvis du ikke aner, hvad barnets evner er, du kaster bare en masse forskellige problemer efter dem, og det er ikke godt for deres engagement eller læring, " sagde Jain.
"Men hvis robotten er i stand til at finde en passende sværhedsgrad for problemerne, så kan det virkelig forbedre læringsoplevelsen."
Den ultimative grænse
Der er et populært ordsprog blandt mennesker med autisme og deres familier:Hvis du har mødt en person med autisme, du har mødt en person med autisme.
"Autisme er den ultimative grænse for robot-personalisering, For som enhver, der kender til autisme, vil fortælle dig, hvert individ har en konstellation af symptomer og forskellige sværhedsgrader af hvert symptom, " sagde Matarić, Chan Soon-Shiong anerkendt professor i datalogi, Neurovidenskab, og pædiatri og midlertidig vicepræsident for forskning.
Dette udgør en særlig udfordring for maskinlæring, som normalt er afhængig af at opdage konsistente mønstre i enorme mængder af lignende data. Derfor er personalisering så vigtig.
"Hvis vi tager et signal fra et barn, vi kan opnå så meget mere end blot at følge et manuskript, " sagde Matarić. "Normale AI-tilgange mislykkes med autisme. AI-metoder kræver en masse lignende data, og det er bare ikke muligt med autisme, hvor heterogenitet hersker."
Forskerne tacklede dette problem i deres analyse af børnenes engagement efter interventionen. Computermodeller for engagement blev udviklet ved at kombinere mange typer data, inklusive øjenblik og hovedstilling, lydhøjde og frekvens, og ydeevne på opgaven.
At få disse algoritmer til at fungere ved hjælp af data fra den virkelige verden var en stor udfordring, givet den medfølgende støj og uforudsigelighed.
"Dette eksperiment var lige i centrum af deres læringsoplevelse, sagde Kartik, som hjalp med at installere robotterne i børnehjemmene.
"Der var katte, der hoppede på robotten, en blender går i gang i køkkenet, og folk, der kommer ind og ud af lokalet." Som sådan, maskinlæringsalgoritmerne skulle være sofistikerede nok til at fokusere på relevant information relateret til terapisessionen og afvise miljøstøj.
Forbedring af menneske-robot-interaktion
Der blev foretaget vurderinger før og efter de månedlange interventioner. Mens forskerne forventede at se nogle forbedringer hos deltagerne, resultaterne overgik deres forventninger. I slutningen af månedens intervention, 100 % af deltagerne viste forbedrede matematiske færdigheder, mens 92 % også forbedrede sig i sociale færdigheder.
I post-eksperimentanalyser, forskerne var også i stand til at hente nogle andre interessante oplysninger fra dataene, der kunne give os et kig ind i opskriften på ideelle børn-robot-interaktioner.
Undersøgelsen observerede højere engagement for alle deltagere kort efter robotten havde talt. Specifikt, deltagerne var engagerede omkring 70 % af tiden, da robotten havde talt i det foregående minut, men mindre end 50 % af tiden, hvor robotten ikke havde talt i mere end et minut.
Mens en personlig model til hver bruger er ideel, forskerne fandt også ud af, at det var muligt at opnå tilstrækkelige resultater ved hjælp af engagementsmodeller, der er trænet på data fra andre brugere.
I øvrigt, undersøgelsen observerede, at omsorgspersoner kun skulle gribe ind, når et barn mistede interessen i en længere periode. I modsætning, deltagere forlovede sig normalt igen efter kortere perioder med uinteresse. Dette tyder på, at robotsystemer bør fokusere på at modvirke længere perioder med frakobling.
Matarićs laboratorium vil fortsætte med at studere data indsamlet fra eksperimentet:Et aktivt delprojekt involverer analyse og modellering af børns kognitive-affektive tilstande, herunder følelser såsom forvirring eller spænding. Projektet, ledet af progressiv grad i datalogi studerende Zhonghao Shi, har til formål at designe affektbevidste socialt assisterende robotvejledere, der er endnu mere følsomme over for brugernes følelser og stemninger i forbindelse med læring.
"Håbet er, at fremtidige undersøgelser i dette laboratorium og andre steder kan tage alle de ting, vi har lært, og forhåbentlig designe mere engagerende og personaliserede menneske-robot-interaktioner, " sagde Jain.