Autonom robot, der interagerer med mennesker ved hjælp af naturligt sprog og synsbehandling

Purdue University-forskere ved School of Electrical and Computer Engineering udvikler integrerende sprog- og visionssoftware, der kan gøre det muligt for en autonom robot at interagere med mennesker i forskellige miljøer og opnå navigationsmål.

"Projektets overordnede mål er at fortælle robotten at finde en bestemt person, rum eller bygning og få robotten til at interagere med alm. utrænede mennesker til at spørge i naturligt sprog om vej mod et bestemt sted, " sagde Jeffrey Mark Siskind, en lektor, der leder forskerholdet. "For at udføre denne opgave, robotten skal fungere sikkert i menneskers tilstedeværelse, opmuntre dem til at give anvisninger og bruge deres oplysninger til at finde målet."

Ph.d.-kandidaterne Thomas Ilyevsky og Jared Johansen arbejder sammen med Siskind om at udvikle en robot ved navn Hosh, der kan integrere grafiske og sproglige data i sin navigationsproces for at lokalisere et bestemt sted eller en bestemt person. Holdet udvikler robotten gennem et tilskud finansieret af National Science Foundations National Robotics Initiative.

Denne robot kunne hjælpe selvkørende biler med at kommunikere med passagerer og fodgængere eller kunne udføre små opgaver på et forretningssted, såsom at levere post. Robotten vil bidrage til den forventede vækst på 14 milliarder dollars i forbrugerrobotindustrien i 2025, som projekteret af Boston Consulting Group.

Robotten får en opgave med at lokalisere et specifikt rum, bygning eller enkeltperson på et kendt eller ukendt sted. Derefter, robotten vil forene nyt sprog og visuel behandling for at navigere i miljøet, bede om vej, anmode om at åbne døre eller trykke på elevatorknapperne og nå sit mål.

Forskerne udvikler software på højt niveau for at give robotten "sund fornuft viden, "evnen til at forstå objekter og miljøer med intuition på menneskeligt niveau, gør det muligt at genkende navigationskonventioner. For eksempel, robotten vil inkorporere både talte udsagn og fysiske bevægelser i sin navigationsproces.

"Roboten har brug for intuition på menneskeligt niveau for at forstå navigationskonventioner, " sagde Ilyevsky. "Det er her, viden om sund fornuft kommer ind. Robotten skal vide, at rum med ulige og lige numre sidder over for hinanden i en gang, eller at værelse 317 skal være på bygningens tredje sal."

At udvikle robottens viden om sund fornuft, forskningen vil udvikle integrativ naturlig sprogbehandling og computersynssoftware. Typisk, naturlig sprogbehandling vil gøre det muligt for robotten at kommunikere med mennesker, mens computervisionssoftwaren vil gøre det muligt for robotten at navigere i sine omgivelser. Imidlertid, forskerne fremmer softwaren for at informere hinanden, mens robotten bevæger sig.

"Roboten skal forstå sprog i en visuel kontekst og vision i en sproglig kontekst, " sagde Siskind. "F.eks. mens man lokaliserer en bestemt person, robotten kan modtage information i en kommentar eller fysisk gestus og skal forstå begge dele inden for rammerne af dens navigationsmål."

For eksempel, hvis svaret er "Se efter den person i værelse 300, " robotten bliver nødt til at behandle udsagnet i en visuel kontekst og identificere, hvilket rum den befinder sig i lige nu, samt den bedste rute for at nå værelse 300. Hvis svaret er "Den person er derovre" med et fysisk signal, robotten bliver nødt til at integrere den visuelle cue med udsagnets betydning for at identificere person A.

"At interagere med mennesker er et uløst problem inden for kunstig intelligens, " sagde Johansen. "For dette projekt, vi forsøger at hjælpe robotten med at forstå visse konventioner, den kan løbe ind i, eller at forudse, at et dusin forskellige svar alle kan have samme betydning."

"Vi forventer, at denne teknologi bliver rigtig stor, fordi industrien med autonome robotter og selvkørende biler er ved at blive meget stor, " sagde Siskind. "Teknologien kunne tilpasses til selvkørende biler, giver bilerne mulighed for at spørge om vej, eller passagerer kan anmode om en bestemt destination, ligesom menneskelige chauffører gør."

Forskerne forventer at sende robotten på autonome missioner med stigende kompleksitet, efterhånden som teknologien skrider frem. Først, robotten vil lære at navigere indendørs på en enkelt etage. Derefter, at flytte til andre etager og bygninger, den vil bede folk om at betjene elevatoren eller åbne døre for den. Forskerne håber at komme videre til udendørs missioner i foråret.