Hvornår skal nogen stole på en AI-assistents forudsigelser?

På et travlt hospital bruger en radiolog et kunstig intelligenssystem til at hjælpe hende med at diagnosticere medicinske tilstande baseret på patienters røntgenbilleder. Brug af AI-systemet kan hjælpe hende med at stille hurtigere diagnoser, men hvordan ved hun, hvornår hun skal stole på AI'ens forudsigelser?

Det gør hun ikke. I stedet kan hun stole på sin ekspertise, et konfidensniveau leveret af selve systemet eller en forklaring på, hvordan algoritmen lavede sin forudsigelse – som kan se overbevisende ud, men stadig være forkert – for at foretage et skøn.

For at hjælpe folk til bedre at forstå, hvornår de skal stole på en AI-"holdkammerat", har MIT-forskere skabt en onboarding-teknik, der guider mennesker til at udvikle en mere præcis forståelse af de situationer, hvor en maskine laver korrekte forudsigelser, og dem, hvor den laver forkerte forudsigelser.

Ved at vise folk, hvordan AI komplementerer deres evner, kan træningsteknikken hjælpe mennesker med at træffe bedre beslutninger eller komme hurtigere til konklusioner, når de arbejder med AI-agenter.

"Vi foreslår en undervisningsfase, hvor vi gradvist introducerer mennesket til denne AI-model, så de selv kan se dets svagheder og styrker," siger Hussein Mozannar, en kandidatstuderende i Clinical Machine Learning Group of the Computer Science and Artificial Intelligence Laboratorium (CSAIL) og Institut for Medicinsk Teknik og Videnskab. "Vi gør dette ved at efterligne den måde, mennesket vil interagere med AI'en på i praksis, men vi griber ind for at give dem feedback for at hjælpe dem med at forstå hver interaktion, de foretager med AI'en."

Mozannar skrev papiret sammen med Arvind Satyanarayan, en assisterende professor i datalogi, der leder visualiseringsgruppen i CSAIL; og seniorforfatter David Sontag, lektor i elektroteknik og datalogi ved MIT og leder af Clinical Machine Learning Group. Forskningen vil blive præsenteret på Association for the Advancement of Artificial Intelligence i februar.

Mentale modeller

Dette arbejde fokuserer på de mentale modeller, mennesker bygger om andre. Hvis radiologen ikke er sikker på en sag, kan hun spørge en kollega, der er ekspert på et bestemt område. Ud fra tidligere erfaringer og hendes viden om denne kollega har hun en mental model for hans styrker og svagheder, som hun bruger til at vurdere hans råd.

Mennesker bygger de samme slags mentale modeller, når de interagerer med AI-agenter, så det er vigtigt, at disse modeller er nøjagtige, siger Mozannar. Kognitiv videnskab foreslår, at mennesker træffer beslutninger for komplekse opgaver ved at huske tidligere interaktioner og oplevelser. Så forskerne designede en onboarding-proces, der giver repræsentative eksempler på, at mennesket og AI arbejder sammen, som tjener som referencepunkter, som mennesket kan trække på i fremtiden. De startede med at skabe en algoritme, der kan identificere eksempler, der bedst vil lære mennesket om AI.

"Vi lærer først en menneskelig eksperts skævheder og styrker ved at bruge observationer af deres tidligere beslutninger uden AI," siger Mozannar. "Vi kombinerer vores viden om mennesket med det, vi ved om AI'en for at se, hvor det vil være nyttigt for mennesket at stole på AI'en. Så får vi sager, hvor vi ved, at mennesket bør stole på AI'en og lignende tilfælde, hvor mennesket bør ikke stole på AI."

Forskerne testede deres onboarding-teknik på en passage-baseret spørgsmålsbesvarelsesopgave:Brugeren modtager en skriftlig passage og et spørgsmål, hvis svar er indeholdt i passagen. Brugeren skal derefter besvare spørgsmålet og kan klikke på en knap for at "lade AI'en svare." Brugeren kan dog ikke se AI-svaret på forhånd, hvilket kræver, at de stoler på deres mentale model af AI. Onboarding-processen, de udviklede, begynder med at vise disse eksempler til brugeren, som forsøger at lave en forudsigelse ved hjælp af AI-systemet. Mennesket kan have ret eller forkert, og AI kan være rigtigt eller forkert, men i begge tilfælde, efter at have løst eksemplet, ser brugeren det rigtige svar og en forklaring på, hvorfor AI'en valgte sin forudsigelse. For at hjælpe brugeren med at generalisere ud fra eksemplet er der vist to kontrasterende eksempler, der forklarer, hvorfor AI'en fik det rigtigt eller forkert.

For eksempel spørger træningsspørgsmålet måske, hvilken af ​​to planter der er hjemmehørende i flere kontinenter, baseret på et indviklet afsnit fra en lærebog om botanik. Mennesket kan svare på egen hånd eller lade AI-systemet svare. Derefter ser hun to opfølgende eksempler, der hjælper hende med at få en bedre fornemmelse af AI'ens evner. Måske tager AI fejl på et opfølgende spørgsmål om frugter, men ret i et spørgsmål om geologi. I hvert eksempel er de ord, systemet brugte til at lave sin forudsigelse, fremhævet. At se de fremhævede ord hjælper mennesket med at forstå grænserne for AI-agenten, forklarer Mozannar.

For at hjælpe brugeren med at bevare det, de har lært, nedskriver brugeren derefter den regel, hun udleder fra dette undervisningseksempel, såsom "Denne AI er ikke god til at forudsige blomster." Hun kan så henvise til disse regler senere, når hun arbejder med agenten i praksis. Disse regler udgør også en formalisering af brugerens mentale model af AI.

Påvirkningen af ​​undervisning

Forskerne testede denne undervisningsteknik med tre grupper af deltagere. En gruppe gennemgik hele onboarding-teknikken, en anden gruppe modtog ikke de opfølgende sammenligningseksempler, og baseline-gruppen modtog ingen undervisning, men kunne se AI'ens svar på forhånd.

"De deltagere, der modtog undervisning, klarede sig lige så godt som de deltagere, der ikke modtog undervisning, men kunne se AI'ens svar. Så konklusionen er, at de er i stand til at simulere AI'ens svar lige så godt, som hvis de havde set det." Mozannar siger.

Forskerne gravede dybere ned i dataene for at se de regler, de enkelte deltagere skrev. De fandt ud af, at næsten 50 procent af de mennesker, der modtog træning, skrev nøjagtige lektioner om AI'ens evner. De, der havde nøjagtige lektioner, havde ret på 63 procent af eksemplerne, mens dem, der ikke havde præcise lektioner, havde ret på 54 procent. Og dem, der ikke modtog undervisning, men kunne se AI-svarene, havde ret på 57 procent af spørgsmålene.

"Når undervisning lykkes, har det en betydelig indflydelse. Det er take-away her. Når vi er i stand til at undervise deltagerne effektivt, er de i stand til at gøre det bedre, end hvis du faktisk gav dem svaret," siger han.

Men resultaterne viser også, at der stadig er et hul. Kun 50 procent af dem, der blev trænet, byggede nøjagtige mentale modeller af AI, og selv dem, der gjorde, havde kun ret 63 procent af tiden. Selvom de lærte nøjagtige lektier, fulgte de ikke altid deres egne regler, siger Mozannar.

Det er et spørgsmål, der får forskerne til at klø sig i hovedet - selvom folk ved, at AI burde være rigtigt, hvorfor vil de så ikke lytte til deres egen mentale model? De ønsker at udforske dette spørgsmål i fremtiden, samt forfine onboarding-processen for at reducere den tid, det tager. De er også interesserede i at køre brugerundersøgelser med mere komplekse AI-modeller, især i sundhedsmiljøer.