Hvordan billedsprog forvirrer chatbots

Dataloger har for nylig undersøgt ydeevnen af ​​dialogsystemer, såsom personlige assistenter og chatbots designet til at interagere med mennesker. Holdet fandt ud af, at når disse systemer konfronteres med dialog, der inkluderer idiomer eller lignelser, falder deres ydeevne til mellem 10 og 20 procent.

Forskerholdet udviklede også et delvist middel. De skrev et simpelt manuskript, der identificerer figurative sætninger og erstatter dem med deres bogstavelige betydning. Som et resultat blev ydeevnen af ​​dialogsystemer forbedret med op til 15 procent.

Forskerne præsenterer deres resultater på 2021 Conference on Empirical Methods in Natural Language Processing, som finder sted 7. til 11. november 2021. 

Ansøgninger til dette arbejde omfatter ikke kun personlige assistenter, men også systemer, der er designet til at opsummere information, såsom boksen, der opsummerer søgeresultater øverst på en Google-side. Automatiserede systemer, der skal besvare spørgsmål, for eksempel når en regning skal betales eller en aftale, vil også have gavn af dette arbejde.

"Vi ønsker at muliggøre mere naturlige samtaler mellem mennesker og dialogsystemer," sagde Harsh Jhamtani, avisens første forfatter.

Jhamtani er ph.d. studerende ved Carnegie Mellon University og arbejder i øjeblikket som gæsteforsker med seniorforfatter Taylor Berg-Kirkpatrick, et fakultetsmedlem i UC San Diego Department of Computer Science and Engineering.

Undersøgelsen var inspireret af Jhamtanis egne kampe med billedsprog. Han taler hindi som modersmål og taler også engelsk, Indiens andet officielle sprog. Men han måtte lære de mange amerikanske idiomer og metaforer, hans kolleger bruger.

For eksempel gik han i panik, da en kollega sagde, at de sultede, fordi det på hindi kunne tyde på en medicinsk nødsituation. Hans kollega forklarede så, at det bare betød, at han var sulten. På det tidspunkt spekulerede Jhamtani på, om kunstige dialogsystemer ville have det samme problem, som han havde.

I undersøgelsen testede forskere fem forskellige systemer designet til at tale med mennesker, inklusive GPT-2, som er trænet til at forudsige det næste ord i 40 GB internettekst og er udviklet af forskningsfirmaet OpenAI.

Forskere kørte først dialogsystemerne gennem et datasæt med 13,1K samtaler om dagligdags emner som turisme, sundhed og så videre. De udtog derefter samtalerne, der inkluderede billedsprog, fra datasættet og kørte systemerne kun gennem dem. De observerede et fald i ydeevnen på mellem 10 og 20 procent.

De skrev derefter et script, der gjorde det muligt for systemerne hurtigt at tjekke ordbøger, der oversætter billedlig tale til bogstavelig tale. Dette er hurtigere og mere effektivt end genoptræningssystemer for at lære hele indholdet af disse ordbøger. Forskere observerede, at ydeevnen blev forbedret med så meget som 15 procent.

Forskerne måtte stadig delvist stole på menneskelige observatører for at identificere billedsprog i datasættet, før teksten kunne konverteres. Der er behov for yderligere undersøgelser på dette område.

Det vil tage flere iterationer, før de algoritmer, forskerne har udviklet, vil være klar til implementering. For eksempel fandt de ud af, at i nogle sjældne tilfælde forvanskede udskiftning af det billedlige sprog med bogstaveligt sprog grammatikken i en sætning til det punkt, hvor dialogsystemerne ikke længere kunne forstå.