Mandarin sprogstuderende får et boost fra AI

IBM Research og Rensselaer Polytechnic Institute (RPI) samarbejder om en ny tilgang til at hjælpe eleverne med at lære mandarin. Strategien kombinerer en AI-drevet assistent med et fordybende klasseværelsesmiljø, der ikke tidligere har været brugt til sprogundervisning. Klasseværelset, kaldet Cognitive Immersive Room (CIR), får eleverne til at føle, at de er på restaurant i Kina, en have, eller en Tai Chi -klasse, hvor de kan øve sig på at tale mandarin med en AI -chatagent. CIR blev udviklet af Cognitive and Immersive Systems Lab (CISL), et forskningssamarbejde mellem IBM Research og RPI.

Når man lærer et nyt sprog, især en så vanskelig som mandarin, det er vigtigt, at eleverne har mange muligheder for at tale og øve deres samtaleevner. At tilegne sig et nyt sprog naturligt, gennem kulturel fordybelse, kan være mere effektiv end ikke-fordybende praksis. Endnu, oplevelsesmæssig læring er ikke tilgængelig for de fleste nye elever på mandarin. Derfor udviklede vi CIR.

Et fordybende gamification klasseværelsesmiljø

CIR samler flere state-of-the-art teknologier såsom tale-til-tekst, naturlig sprogforståelse, og computervision for at muliggøre fordybelse og naturlig multimodal dialog. Værelset indeholder et 360-graders panoramisk displaysystem, et lydsystem, flere kameraer, flere Kinect -enheder, og flere mikrofoner, samt computersystemer til understøttelse af AI -teknologier, nogle placeret i rummet og andre i skyen.

Vores mål er at kombinere kognitiv, fordybende teknologier med spilelementer, så eleverne kan opleve et kulturelt miljø, praktisere daglige opgaver, og få hjælp fra intelligente agenter. Med Mandarin Project, vi bruger IBM Watson inden for CIR som en samtaleagent til at engagere eleverne, mens de lærer sproget. Vores tilgang involverer IBM Watson talegenkendelse og teknologier til forståelse af naturligt sprog til engelsk og kinesisk.

En af de største hindringer for at lære et fremmed sprog gennem fordybelse er elevernes frygt for at blive dømt af modersmål. I CIR, imidlertid, studerende kan arbejde med virtuelle samtalepartnere for at øve ordforråd og udtale uden pres fra den virkelige verden.

Mange sprogindlæringsforskere arbejder med virtuel eller augmented reality, men vi undersøger menneskelig skala, fordybende, spillemiljøer, hvor elever fysisk kan gå rundt uden at skulle have specialudstyr på. Dette afspejler en bredere tendens i interaktion mellem mennesker og computere, efterhånden som vores engagement med information i vores daglige liv bliver stadig mere fordybende, og vores interaktion med intelligente maskiner skifter til partnerskab.

Vores system blev testet i en kinesisk 1 -klasse på RPI's campus i slutningen af ​​efteråret 2017. Dette efterår, vi vil fortsætte med at bruge AI som et undervisningsværktøj i kinesisk 1, 2 og 3 klasser, med det mål at tilbyde en ny klasse, der fusionerer kinesisk 1-3 i sommeren 2019.

Forskningen bag - og ud over - klasseværelset

Som en del af IBM AI Horizons Network, CISL skaber og bruger sådanne teknologier som kontekstbevidste systemer, pitch tone kontur analyse, sprogskift mellem kinesisk og engelsk i en naturlig sprogsamtale mellem mennesker og AI-agenter, multimodal interaktion med flere brugere, ræsonnement og planlægning i beslutningsprocessen og multimodal historiefortælling med automatisk generering af fortællinger, visualisering og sonifikation.

CIR er en af ​​fire anvendelsessager i CISL. Laboratoriet arbejder også på at udvide gruppens intelligens til kritisk beslutningstagning i virkelige miljøer som bestyrelseslokaler. I fremtiden, disse nye kognitive og fordybende systemer kunne fundamentalt ændre måden, hvorpå mennesker lever og arbejder. De tidlige prototyper af CIR har også givet muligheder for brugerinteraktionsforskning, gør det muligt for os at finde og tage fat på nye udfordringer i sprogindlæring.