Tager maskintænkning ud af den sorte boks

Softwareapplikationer giver folk mange slags automatiserede beslutninger, såsom at identificere, hvad en persons kreditrisiko er, informere en rekrutterer om, hvilken jobkandidat der skal ansættes, eller afgøre, om nogen er en trussel mod offentligheden. I de seneste år, nyhedsoverskrifter har advaret om en fremtid, hvor maskiner opererer i samfundets baggrund, bestemme menneskelivets gang, mens man bruger upålidelig logik.

En del af denne frygt stammer fra den uklare måde, hvorpå mange maskinlæringsmodeller fungerer. Kendt som black-box modeller, de er defineret som systemer, hvor rejsen fra input til output næsten er umulig for selv deres udviklere at forstå.

"Efterhånden som maskinlæring bliver allestedsnærværende og bruges til applikationer med mere alvorlige konsekvenser, der er brug for, at folk forstår, hvordan det laver forudsigelser, så de kan stole på det, når det gør mere end at vise en annonce, "siger Jonathan Su, medlem af det tekniske personale i MIT Lincoln Laboratory's Informatics and Decision Support Group.

I øjeblikket, forskere bruger enten post hoc-teknikker eller en fortolkelig model som et beslutningstræ til at forklare, hvordan en black-box-model når sin konklusion. Med post hoc -teknikker, forskere observerer en algoritms input og output og forsøger derefter at konstruere en omtrentlig forklaring på, hvad der skete inde i den sorte boks. Problemet med denne metode er, at forskere kun kan gætte på det indre arbejde, og forklaringerne kan ofte være forkerte. Beslutningstræer, hvilke kortvalg og deres potentielle konsekvenser i en trælignende konstruktion, fungere fint til kategoriske data, hvis funktioner er meningsfulde, men disse træer kan ikke tolkes på vigtige områder, såsom computersyn og andre komplekse dataproblemer.

Su leder et team på laboratoriet, der samarbejder med professor Cynthia Rudin ved Duke University, sammen med hertugstuderende Chaofan Chen, Oscar Li, og Alina Barnett, til forskningsmetoder til udskiftning af black-box-modeller med forudsigelsesmetoder, der er mere gennemsigtige. Deres projekt, kaldet Adaptable Interpretable Machine Learning (AIM), fokuserer på to tilgange:fortolkbare neurale netværk samt tilpasningsdygtige og fortolkelige bayesiske regellister (BRL'er).

Et neuralt netværk er et computersystem, der består af mange sammenkoblede behandlingselementer. Disse netværk bruges typisk til billedanalyse og objektgenkendelse. For eksempel, en algoritme kan læres at genkende, om et fotografi indeholder en hund ved først at blive vist fotos af hunde. Forskere siger, at problemet med disse neurale netværk er, at deres funktioner er ikke -lineære og rekursive, såvel som kompliceret og forvirrende for mennesker, og slutresultatet er, at det er svært at præcisere, hvad netværket præcist har defineret som "dogness" i billederne, og hvad der førte det til den konklusion.

For at løse dette problem, teamet udvikler det, det kalder "prototype neurale netværk." Disse adskiller sig fra traditionelle neurale netværk, idet de naturligvis koder for forklaringer til hver af deres forudsigelser ved at oprette prototyper, som er særligt repræsentative dele af et inputbillede. Disse netværk gør deres forudsigelser baseret på ligheden mellem dele af inputbilledet til hver prototype.

Som et eksempel, hvis et netværk har til opgave at identificere, om et billede er en hund, kat, eller hest, det ville sammenligne dele af billedet med prototyper af vigtige dele af hvert dyr og bruge disse oplysninger til at lave en forudsigelse. Et papir om dette værk:"Sådan ser det ud:dyb læring til fortolkelig billedgenkendelse, "blev for nylig vist i et afsnit af podcasten" Data Science at Home ". Et tidligere papir, "Dyb læring til sagsbaseret ræsonnement gennem prototyper:Et neuralt netværk, der forklarer dets forudsigelser, "brugte hele billeder som prototyper, frem for dele.

Det andet område, forskergruppen undersøger, er BRL'er, som er mindre komplicerede, ensidige beslutningstræer, der er egnede til tabulære data og ofte lige så præcise som andre modeller. BRL'er er lavet af en række betingede udsagn, der naturligt danner en fortolkelig model. For eksempel, hvis blodtrykket er højt, så er risikoen for hjertesygdomme høj. Su og kolleger bruger egenskaber for BRL'er for at give brugerne mulighed for at angive, hvilke funktioner der er vigtige for en forudsigelse. De udvikler også interaktive BRL'er, som kan tilpasses med det samme, når nye data kommer frem for at blive kalibreret fra bunden på et stadigt voksende datasæt.

Stephanie Carnell, en kandidatstuderende fra University of Florida og en sommerpraktikant i Informatics and Decision Support Group, anvender de interaktive BRL’er fra AIM -programmet på et projekt, der skal hjælpe medicinstuderende til at blive bedre til at interviewe og diagnosticere patienter. I øjeblikket, medicinstuderende praktiserer disse færdigheder ved at interviewe virtuelle patienter og modtage en score på, hvor meget vigtig diagnostisk information de var i stand til at afdække. Men scoren indeholder ikke en forklaring på hvad, præcist, i interviewet gjorde eleverne for at opnå deres score. AIM -projektet håber at ændre dette.

"Jeg kan forestille mig, at de fleste medicinstuderende er temmelig frustrerede over at modtage en forudsigelse om succes uden nogen konkret grund til, at "Carnell siger." Regellister genereret af AIM burde være en ideel metode til at give eleverne datadrevne, forståelig feedback. "

AIM-programmet er en del af igangværende forskning på laboratoriet inden for menneskelig systemteknik-eller praksis med at designe systemer, der er mere kompatible med, hvordan mennesker tænker og fungerer, såsom forståeligt, frem for uklar, algoritmer.

"Laboratoriet har mulighed for at være en global leder inden for at bringe mennesker og teknologi sammen, "siger Hayley Reynolds, assisterende leder af informatik- og beslutningsstøttegruppen. "Vi er på vej til store fremskridt."

Melva James er en anden teknisk medarbejder i informatik- og beslutningsstøttegruppen, der er involveret i AIM -projektet. "Vi på laboratoriet har udviklet Python -implementeringer af både BRL og interaktive BRL'er, "siger hun." [Vi] tester samtidigt output fra BRL og interaktive BRL -implementeringer på forskellige operativsystemer og hardwareplatforme for at etablere portabilitet og reproducerbarhed. Vi identificerer også yderligere praktiske anvendelser af disse algoritmer. "

Su forklarer:"Vi håber at opbygge en ny strategisk kapacitet til laboratoriet - maskinlæringsalgoritmer, som folk stoler på, fordi de forstår dem."

Denne historie er genudgivet med tilladelse fra MIT News (web.mit.edu/newsoffice/), et populært websted, der dækker nyheder om MIT -forskning, innovation og undervisning.