De fleste mennesker overser kunstig intelligens på trods af fejlfri rådgivning

Hvis du var overbevist om, at du kendte vejen hjem, vil du stadig tænde for din GPS?

Hærens videnskabsmænd forsøgte for nylig at besvare et lignende spørgsmål på grund af en vedvarende bekymring over, at kunstig intelligens, som kan være uigennemsigtig og frustrerende for mange mennesker, kan ikke være nyttigt ved beslutningstagning på slagmarken.

"Den amerikanske hær fortsætter med at skubbe til moderniseringen af ​​sine styrker, med bemærkelsesværdig indsats, herunder udvikling af smartphone-baseret software til real-time levering af information, såsom Android Tactical Assault Kit, eller ATAK, og tildelingen af ​​betydelige midler til forskning i nye kunstig intelligens og maskinlæringsmetoder for at hjælpe kommando- og kontrolpersonale, " sagde Dr. James Schaffer, videnskabsmand for RDECOM's Army Research Laboratory, hærens virksomhedsforskningslaboratorium (ARL), på ARL West i Playa Vista, Californien.

Ifølge Schaffer, trods disse fremskridt, der er stadig et betydeligt hul i grundlæggende viden om brugen af ​​kunstig intelligens, og det er uvist, hvilke faktorer af kunstig intelligens, der vil eller ikke vil hjælpe militære beslutningsprocesser.

Universitets- og virksomhedsforskning har gjort betydelige fremskridt med at løse dette problem for applikationer som film- og restaurantanbefalinger, men resultaterne oversættes ikke ligefrem til den militære verden.

"For eksempel, mange forskningsstudier og A/B-test, som dem udført af Amazon, har eksperimenteret med forskellige former for overtalelse, argumentation og brugergrænsefladestile for at bestemme den vindende kombination, der flytter mest produkt eller inspirerer mest tillid, " sagde Schaffer. "Desværre, der er store kløfter mellem antagelserne i disse lavrisikodomæner og militær praksis."

Hærens forskning, som var et samarbejde mellem hærens videnskabsmænd og universitetsforskere ved University of California, Santa Barbara, antager, at mange mennesker stoler langt mere på deres egne evner end en computers, hvilket vil påvirke deres dømmekraft, når de bliver presset til at præstere.

Ifølge Schaffer, dette indebærer, at selvom fejlfri AI kunne skabes, nogle mennesker ville ikke lytte til AI's råd.

Forskerne konstruerede et abstrakt svarende til Iterated Prisoner's Dilemma, et spil, hvor spillere skal vælge at samarbejde med eller defekte mod deres medspillere i hver runde - for at kontrollere alle relevante faktorer.

The Iterated Prisoner's Dilemma er blevet brugt i forbindelse med adskillige problemer i den virkelige verden, såsom militære våbenkapløb, offentlig deling af ressourcer og international politik.

En online version af spillet blev udviklet af forskerholdet, hvor spillerne opnåede point ved at træffe gode beslutninger i hver runde.

En AI blev brugt til at generere rådgivning i hver runde, som blev vist ved siden af ​​spilgrænsefladen, og kom med et forslag til, hvilken beslutning spilleren skulle træffe.

Forskere havde mulighed for at designe en AI, der altid anbefalede den optimale fremgangsmåde.

Imidlertid, ligesom i det virkelige liv, spillere skulle tilgå AI's råd manuelt, ligesom du manuelt skal tænde for GPS, og var frie til at acceptere eller ignorere dets forslag.

Forskerne præsenterede også forskellige versioner af denne AI - nogle var bevidst unøjagtige, nogle påkrævede spiloplysninger, der skal indtastes manuelt, og nogle begrundede deres forslag med rationelle argumenter.

Alle variationer af disse AI-behandlinger blev testet, så interaktionseffekter mellem AI-konfigurationer kunne studeres.

Folk blev inviteret til at spille spillet online, og forskere indsamlede en profil af hver spiller og overvågede deres adfærd.

For hver spiller, Forskere spurgte om deres kendskab til spillet, mens de også målte deres sande kompetence.

Derudover en test blev givet halvvejs i spillet, der målte bevidsthed om gameplay-elementer.

"Det, der blev opdaget, kan bekymre nogle fortalere for AI, to tredjedele af menneskelige beslutninger var uenige med AI, uanset antallet af fejl i forslagene, " sagde Schaffer.

Jo højere spilleren vurderede deres kendskab til spillet på forhånd, jo mindre AI blev brugt, en effekt, der stadig blev observeret, når der blev kontrolleret for AI'ens nøjagtighed. Dette indebærer, at en forbedring af et systems nøjagtighed ikke vil være i stand til at øge systemvedtagelsen i denne population.

"Dette kunne være et harmløst resultat, hvis disse spillere virkelig klarede sig bedre, men de faktisk præsterede væsentligt dårligere end deres ydmygere jævnaldrende, der rapporterede at vide mindre om spillet på forhånd, ", sagde Schaffer. "Da AI forsøgte at retfærdiggøre sine forslag over for spillere, der rapporterede om høj fortrolighed med spillet, reduceret bevidsthed om gameplay-elementer blev observeret et symptom på overtillid og selvtilfredshed."

På trods af disse fund, en tilsvarende stigning i overensstemmelse med AI-forslag blev ikke observeret.

Dette præsenterer en catch-22 for systemdesignere:inkompetente brugere har mest af alt brug for AI, men er de mindst tilbøjelige til at blive påvirket af rationelle begrundelser, sagde Schaffer.

Inkompetente brugere var også de mest tilbøjelige til at sige, at de stolede på AI, som blev undersøgt gennem et post-game spørgeskema.

"Dette står i skarp kontrast til deres observerede negligering af AI's forslag, demonstrere, at folk ikke altid er ærlige, eller måske ikke altid er opmærksomme på deres egen adfærd, " sagde Schaffer.

For Schaffer og holdet, denne forskning fremhæver igangværende problemer i brugbarheden af ​​komplekse, uigennemsigtige systemer som AI, på trods af fortsatte fremskridt med hensyn til nøjagtighed, robusthed og hastighed.

"Rationelle argumenter har vist sig at være ineffektive på nogle mennesker, så designere skal muligvis være mere kreative i at designe grænseflader til disse systemer, " sagde Schaffer.

Schaffer sagde, at dette kunne opnås ved at appellere til følelser eller konkurrenceevne, eller endda ved at fjerne tilstedeværelse fra AI, sådan at brugerne ikke registrerer dens tilstedeværelse og dermed ikke forankrer på egne evner.

"På trods af udfordringer i menneske-computer interaktion, AI-lignende systemer vil være en integreret del af hærens strategi over de næste fem år, " sagde Schaffer. "En af de vigtigste udfordringer, som militære operationer står over for i dag, er hurtig reaktion fra guerilla-fjender, som ofte har kortere kommandokæder og dermed kan handle og reagere hurtigere end de amerikanske væbnede styrker. Komplekse systemer, der hurtigt kan reagere på et skiftende miljø og fremskynde informationsflowet, kan forbedre svartider og hjælpe med at opretholde op-tempo, men kun hvis brugerne får tilstrækkelig tillid."

Forskergruppen fortsætter med at eksperimentere med forskellige grænseflader til AI-systemer, så alle typer mennesker kan drage fordel af stadig mere effektiv automatiseret viden.

Denne forskning vil blive vist i forhandlingerne om ACM's 2019-konference om intelligente brugergrænseflader (iui.acm.org/2019/ ).