Aleksander Madry om at bygge troværdig kunstig intelligens

Maskinlæringsalgoritmer ligger nu til grund for meget af den software, vi bruger, hjælper med at personliggøre vores nyhedsfeeds og afslutte vores tanker, før vi er færdige med at skrive. Men efterhånden som kunstig intelligens bliver yderligere indlejret i dagligdagen, forventningerne er steget. Inden autonome systemer fuldt ud får vores tillid, vi skal vide, at de er pålidelige i de fleste situationer og kan modstå indblanding udefra; teknisk set, at de er robuste. Vi er også nødt til at forstå ræsonnementet bag deres beslutninger; at de er fortolkelige.

Aleksander Madry, en lektor i datalogi på MIT og et ledende fakultetsmedlem i Computer Science and Artificial Intelligence Lab (CSAIL) 's Trustworthy AI -initiativ, sammenligner AI med en skarp kniv, et nyttigt, men potentielt farligt værktøj, som samfundet skal lære at bruge korrekt. Madry talte for nylig på MIT's Symposium on Robust, Fortolkelig AI, en begivenhed co-sponsoreret af MIT Quest for Intelligence og CSAIL, og afholdt 20. november i Singleton Auditorium. Symposiet var designet til at fremvise nyt MIT -arbejde inden for bygningsgarantier til AI, som næsten er blevet en gren af ​​maskinlæring i sig selv. Seks fakultetsmedlemmer talte om deres forskning, 40 elever præsenterede plakater, og Madry åbnede symposiet med en tale med passende titlen, "Robusthed og fortolkningsevne." Vi talte med Madry, en leder på dette nye område, om nogle af de centrale ideer, der blev rejst under arrangementet.

Q:AI skylder meget af sine nylige fremskridt dyb læring, en gren af ​​maskinlæring, der har betydeligt forbedret algoritmers evne til at vælge mønstre i tekst, billeder og lyde, giver os automatiserede assistenter som Siri og Alexa, blandt andet. Men dybe læringssystemer forbliver sårbare på overraskende måder:snubler, når de støder på lidt ukendte eksempler i den virkelige verden, eller når en ondsindet angriber fodrer det med subtilt ændrede billeder. Hvordan prøver du og andre at gøre AI mere robust?

A:Indtil for nylig, AI-forskere fokuserede ganske enkelt på at få maskinlæringsalgoritmer til at udføre grundlæggende opgaver. Det var en stor udfordring at opnå jævnbyrdige præstationer. Nu hvor ydeevnen er forbedret, opmærksomheden er flyttet til den næste forhindring:forbedring af værst tænkelige præstationer. Det meste af min forskning er fokuseret på at imødekomme denne udfordring. Specifikt, Jeg arbejder på at udvikle næste generations maskinlæringssystemer, der vil være pålidelige og sikre nok til missionskritiske applikationer som selvkørende biler og software, der filtrerer ondsindet indhold. Vi bygger i øjeblikket værktøjer til at træne objektgenkendelsessystemer til at identificere, hvad der sker i en scene eller et billede, selvom de billeder, der blev fodret med modellen, er blevet manipuleret. Vi studerer også grænserne for systemer, der tilbyder sikkerhed og pålidelighedsgarantier. Hvor meget pålidelighed og sikkerhed kan vi bygge ind i maskinlæringsmodeller, og hvilke andre funktioner skal vi måske ofre for at nå dertil?

Min kollega Luca Daniel, der også talte, arbejder på et vigtigt aspekt af dette problem:at udvikle en måde at måle modstandsdygtigheden af ​​et dybt læringssystem i nøglesituationer. Beslutninger truffet af dybe læringssystemer har store konsekvenser, og derfor er det vigtigt, at slutbrugerne kan måle pålideligheden af ​​hver af modellens output. En anden måde at gøre et system mere robust på er under træningsprocessen. I hendes tale, "Robusthed i GAN'er og i Black-box-optimering, "Stefanie Jegelka viste, hvordan eleven i et generativt kontradiktorisk netværk, eller GAN, kan gøres til at modstå manipulationer med dens input, fører til meget bedre ydelse.

Spørgsmål:De neurale netværk, der driver dyb læring, ser ud til at lære næsten ubesværet:Feed dem nok data, og de kan overgå mennesker på mange opgaver. Og stadigvæk, vi har også set, hvor let de kan fejle, med mindst tre meget omtalte tilfælde af selvkørende biler, der styrter ned og dræber nogen. AI -applikationer i sundhedsvæsenet er endnu ikke under samme kontrolniveau, men indsatsen er lige så høj. David Sontag fokuserede sin tale på ofte konsekvenser af liv eller død, når et AI-system mangler robusthed. Hvad er nogle af de røde flag, når man træner en AI om patientjournaler og andre observationsdata?

A:Dette går tilbage til arten af ​​garantier og de underliggende antagelser, som vi bygger ind i vores modeller. Vi antager ofte, at vores træningsdatasæt er repræsentative for de virkelige data, vi tester vores modeller på-en antagelse, der plejer at være for optimistisk. Sontag gav to eksempler på mangelfulde antagelser, der blev bagt ind i træningsprocessen, der kunne få en AI til at give den forkerte diagnose eller anbefale en skadelig behandling. Den første fokuserede på en massiv database over patientrøntgenbilleder, der blev frigivet sidste år af National Institutes of Health. Datasættet forventedes at bringe store forbedringer af den automatiserede diagnose af lungesygdom, indtil en skeptisk radiolog kiggede nærmere på og fandt udbredte fejl i scannings diagnostiske etiketter. En AI, der er uddannet på brystscanninger med mange forkerte etiketter, vil have svært ved at generere præcise diagnoser.

A second problem Sontag cited is the failure to correct for gaps and irregularities in the data due to system glitches or changes in how hospitals and health care providers report patient data. For eksempel, a major disaster could limit the amount of data available for emergency room patients. If a machine-learning model failed to take that shift into account its predictions would not be very reliable.

Q:You've covered some of the techniques for making AI more reliable and secure. What about interpretability? What makes neural networks so hard to interpret, and how are engineers developing ways to peer beneath the hood?

A:Understanding neural-network predictions is notoriously difficult. Each prediction arises from a web of decisions made by hundreds to thousands of individual nodes. We are trying to develop new methods to make this process more transparent. In the field of computer vision one of the pioneers is Antonio Torralba, director of The Quest. I sin tale, he demonstrated a new tool developed in his lab that highlights the features that a neural network is focusing on as it interprets a scene. The tool lets you identify the nodes in the network responsible for recognizing, sige, a door, from a set of windows or a stand of trees. Visualizing the object-recognition process allows software developers to get a more fine-grained understanding of how the network learns. 

Another way to achieve interpretability is to precisely define the properties that make the model understandable, and then train the model to find that type of solution. Tommi Jaakkola showed in his talk, "Interpretability and Functional Transparency, " that models can be trained to be linear or have other desired qualities locally while maintaining the network's overall flexibility. Explanations are needed at different levels of resolution much as they are in interpreting physical phenomena. Of course, there's a cost to building guarantees into machine-learning systems—this is a theme that carried through all the talks. But those guarantees are necessary and not insurmountable. The beauty of human intelligence is that while we can't perform most tasks perfectly, as a machine might, we have the ability and flexibility to learn in a remarkable range of environments. 

Denne historie er genudgivet med tilladelse fra MIT News (web.mit.edu/newsoffice/), et populært websted, der dækker nyheder om MIT -forskning, innovation og undervisning.