Sådan kan du se, om kunstig intelligens fungerer, som vi vil have det til

For omkring et årti siden begyndte deep-learning-modeller at opnå overmenneskelige resultater på alle mulige opgaver, lige fra at slå verdensmestre-brætspilspillere til at overgå læger til at diagnosticere brystkræft.

Disse kraftfulde deep-learning-modeller er normalt baseret på kunstige neurale netværk, som først blev foreslået i 1940'erne og er blevet en populær type maskinlæring. En computer lærer at behandle data ved hjælp af lag af indbyrdes forbundne noder eller neuroner, der efterligner den menneskelige hjerne.

Efterhånden som området maskinlæring er vokset, er kunstige neurale netværk vokset sammen med det.

Deep-learning-modeller er nu ofte sammensat af millioner eller milliarder af indbyrdes forbundne noder i mange lag, der er trænet til at udføre detektions- eller klassifikationsopgaver ved hjælp af enorme mængder data. Men fordi modellerne er så enormt komplekse, forstår selv de forskere, der designer dem, ikke helt, hvordan de fungerer. Dette gør det svært at vide, om de fungerer korrekt.

For eksempel kan en model, der er designet til at hjælpe læger med at diagnosticere patienter korrekt forudsige, at en hudlæsion var kræftfremkaldende, men den gjorde det ved at fokusere på et ikke-relateret mærke, der tilfældigvis ofte opstår, når der er kræftvæv på et billede, snarere end på det kræftagtige. selve vævet. Dette er kendt som en falsk sammenhæng. Modellen får forudsigelsen rigtig, men den gør det af den forkerte grund. I et reelt klinisk miljø, hvor mærket ikke vises på kræftpositive billeder, kan det resultere i manglende diagnoser.

Med så meget usikkerhed, der svirrer omkring disse såkaldte "black-box"-modeller, hvordan kan man optrevle, hvad der foregår inde i kassen?

Dette puslespil har ført til et nyt og hastigt voksende studieområde, hvor forskere udvikler og tester forklaringsmetoder (også kaldet fortolkningsmetoder), der søger at kaste lys over, hvordan black-box maskinlæringsmodeller laver forudsigelser.

Hvad er forklaringsmetoder?

På deres mest grundlæggende niveau er forklaringsmetoder enten globale eller lokale. En lokal forklaringsmetode fokuserer på at forklare, hvordan modellen lavede én specifik forudsigelse, mens globale forklaringer søger at beskrive den overordnede adfærd for en hel model. Dette gøres ofte ved at udvikle en separat, enklere (og forhåbentlig forståelig) model, der efterligner den større sorte boks-model.

Men fordi deep learning-modeller fungerer på fundamentalt komplekse og ikke-lineære måder, er det særligt udfordrende at udvikle en effektiv global forklaringsmodel. Dette har fået forskere til at vende meget af deres seneste fokus på lokale forklaringsmetoder i stedet, forklarer Yilun Zhou, en kandidatstuderende i Interactive Robotics Group of the Computer Science and Artificial Intelligence Laboratory (CSAIL), som studerer modeller, algoritmer og evalueringer i fortolkbare maskinlæring.

De mest populære typer af lokale forklaringsmetoder falder i tre brede kategorier.

Den første og mest udbredte type forklaringsmetode er kendt som funktionstilskrivning. Funktionstilskrivningsmetoder viser, hvilke funktioner der var vigtigst, da modellen tog en specifik beslutning.

Funktioner er de inputvariabler, der føres til en maskinlæringsmodel og bruges i dens forudsigelse. Når dataene er tabelformede, tegnes funktioner fra kolonnerne i et datasæt (de transformeres ved hjælp af en række forskellige teknikker, så modellen kan behandle rådataene). Til billedbehandlingsopgaver er hver pixel i et billede på den anden side en funktion. Hvis en model forudsiger, at et røntgenbillede viser kræft, for eksempel, vil funktionstilskrivningsmetoden fremhæve de pixels i det specifikke røntgenbillede, der var vigtigst for modellens forudsigelse.

Funktionstilskrivningsmetoder viser i bund og grund, hvad modellen er mest opmærksom på, når den foretager en forudsigelse.

"Ved at bruge denne funktionstilskrivningsforklaring kan du kontrollere, om en falsk korrelation er en bekymring. For eksempel vil den vise, om pixels i et vandmærke er fremhævet, eller hvis pixels i en faktisk tumor er fremhævet," siger Zhou.

En anden type forklaringsmetode er kendt som en kontrafaktisk forklaring. Givet et input og en models forudsigelse viser disse metoder, hvordan man ændrer det input, så det falder ind i en anden klasse. For eksempel, hvis en maskinlæringsmodel forudsiger, at en låntager ville blive nægtet et lån, viser den kontrafaktiske forklaring, hvilke faktorer der skal ændres, så hendes låneansøgning accepteres. Måske skal hendes kreditscore eller indkomst, begge funktioner brugt i modellens forudsigelse, være højere, for at hun kan blive godkendt.

"Det gode ved denne forklaringsmetode er, at den fortæller dig præcis, hvordan du skal ændre input for at vende beslutningen, hvilket kunne have praktisk brug. For en, der søger om et realkreditlån og ikke fik det, ville denne forklaring fortælle dem, hvad de skal gøre for at opnå deres ønskede resultat," siger han.

Den tredje kategori af forklaringsmetoder er kendt som stikprøvevigtighedsforklaringer. I modsætning til de andre kræver denne metode adgang til de data, der blev brugt til at træne modellen.

Et eksempel på betydningsforklaring vil vise, hvilken træningsprøve en model stolede mest på, da den lavede en specifik forudsigelse; ideelt set er dette den prøve, der ligner inputdataene mest. Denne type forklaring er især nyttig, hvis man observerer en tilsyneladende irrationel forudsigelse. Der kan have været en dataindtastningsfejl, der påvirkede en bestemt prøve, der blev brugt til at træne modellen. Med denne viden kunne man rette den prøve og genoptræne modellen for at forbedre dens nøjagtighed.

Hvordan bruges forklaringsmetoder?

En motivation for at udvikle disse forklaringer er at udføre kvalitetssikring og fejlfinde modellen. Med mere forståelse af, hvordan funktioner påvirker en models beslutning, for eksempel, kunne man identificere, at en model fungerer forkert og gribe ind for at løse problemet, eller smide modellen ud og starte forfra.

Et andet, nyere, forskningsområde er at udforske brugen af ​​maskinlæringsmodeller til at opdage videnskabelige mønstre, som mennesker ikke har afsløret før. For eksempel kan en kræftdiagnosemodel, der klarer sig bedre end klinikere, være defekt, eller den kan faktisk være at opfange nogle skjulte mønstre i et røntgenbillede, der repræsenterer en tidlig patologisk vej for kræft, som enten var ukendt for menneskelige læger eller menes at være irrelevant, siger Zhou.

Det er dog stadig meget tidlige dage for det forskningsområde.

Advarselsord

Mens forklaringsmetoder nogle gange kan være nyttige for maskinlærende praktikere, når de forsøger at fange fejl i deres modeller eller forstå de indre funktioner i et system, bør slutbrugere fortsætte med forsigtighed, når de forsøger at bruge dem i praksis, siger Marzyeh Ghassemi , adjunkt og leder af Healthy ML Group i CSAIL.

Efterhånden som maskinlæring er blevet vedtaget i flere discipliner, fra sundhedspleje til uddannelse, bliver forklaringsmetoder brugt til at hjælpe beslutningstagere med bedre at forstå en models forudsigelser, så de ved, hvornår de skal stole på modellen og bruge dens vejledning i praksis. Men Ghassemi advarer mod at bruge disse metoder på den måde.

"Vi har fundet ud af, at forklaringer gør folk, både eksperter og ikke-eksperter, oversikre på evnen eller rådene fra et specifikt anbefalingssystem. Jeg tror, ​​det er meget vigtigt for mennesker ikke at slå det interne kredsløb fra og spørge, 'lad mig sætte spørgsmålstegn ved rådene at jeg er
givet,'" siger hun.

Forskere ved, at forklaringer gør folk oversikre baseret på andet nyligt arbejde, tilføjer hun og citerer nogle nylige undersøgelser fra Microsoft-forskere.

Langt fra en sølvkugle har forklaringsmetoder deres del af problemer. For det første har Ghassemis seneste forskning vist, at forklaringsmetoder kan fastholde skævheder og føre til dårligere resultater for mennesker fra dårligt stillede grupper.

En anden faldgrube ved forklaringsmetoder er, at det ofte er umuligt at sige, om forklaringsmetoden er korrekt i første omgang. Man ville være nødt til at sammenligne forklaringerne med den faktiske model, men da brugeren ikke ved, hvordan modellen fungerer, er dette cirkulær logik, siger Zhou.

Han og andre forskere arbejder på at forbedre forklaringsmetoderne, så de er mere trofaste over for den faktiske models forudsigelser, men Zhou advarer om, at selv den bedste forklaring skal tages med et gran salt.

"Dertil kommer, at folk generelt opfatter disse modeller som menneskelignende beslutningstagere, og vi er tilbøjelige til at overgeneralisere. Vi er nødt til at berolige folk og holde dem tilbage for virkelig at sikre, at den generaliserede modelforståelse, de bygger ud fra disse lokale forklaringer, er afbalanceret," tilføjer han.

Zhou's seneste forskning søger at gøre netop det.

Hvad er det næste for maskinlæringsmetoder?

I stedet for at fokusere på at give forklaringer, argumenterer Ghassemi for, at der skal gøres en større indsats fra forskersamfundet for at studere, hvordan information præsenteres for beslutningstagere, så de forstår det, og at der skal indføres mere regulering for at sikre, at maskinlæringsmodeller er bruges ansvarligt i praksis. Bedre forklaringsmetoder alene er ikke svaret.

"Jeg har været spændt på at se, at der er meget mere anerkendelse, selv i industrien, af, at vi ikke bare kan tage disse oplysninger og lave et smukt dashboard og antage, at folk vil præstere bedre med det. Du skal have målbare forbedringer i handling , og jeg håber, at det fører til rigtige retningslinjer for at forbedre den måde, vi viser information på på disse dybt tekniske områder, som f.eks. medicin," siger hun.

Og ud over nyt arbejde fokuseret på at forbedre forklaringer, forventer Zhou at se mere forskning relateret til forklaringsmetoder til specifikke use cases, såsom modelfejlfinding, videnskabelig opdagelse, fairness audit og sikkerhedsgaranti. Ved at identificere finkornede karakteristika for forklaringsmetoder og kravene til forskellige anvendelsessager, kunne forskere etablere en teori, der ville matche forklaringer med specifikke scenarier, hvilket kunne hjælpe med at overvinde nogle af de faldgruber, der kommer af at bruge dem i virkelige scenarier.