Hvorfor forvekslede min klassificering bare en skildpadde med en riffel?

Et par år siden, ideen om at narre et computervisionssystem ved subtilt at ændre pixels i et billede eller hacke et gadeskilt virkede mere som en hypotetisk trussel end noget, man alvorligt skulle bekymre sig om. Trods alt, en selvkørende bil i den virkelige verden ville opfatte et manipuleret objekt fra flere synspunkter, annullering af vildledende oplysninger. I det mindste, det hævdede en undersøgelse.

"Vi troede, der er ingen måde, det er sandt!" siger MIT Ph.D.-studerende Andrew Ilyas, derefter en anden studerende på MIT. Han og hans venner - Anish Athalye, Logan Engstrøm, og Jessy Lin – gik i hul på MIT Student Center og fandt på et eksperiment for at modbevise undersøgelsen. De ville udskrive et sæt tredimensionelle skildpadder og vise, at en computersynsklassificering kunne forveksle dem med rifler.

Resultaterne af deres eksperimenter, offentliggjort på sidste års International Conference on Machine Learning (ICML), blev bredt dækket i medierne, og tjente som en påmindelse om, hvor sårbare de kunstige intelligenssystemer bag selvkørende biler og ansigtsgenkendelsessoftware kunne være. "Selv hvis du ikke tror, ​​at en ond angriber vil forstyrre dit stopskilt, det er bekymrende, at det er en mulighed, " siger Ilyas. "Modstridig eksempelforskning handler om at optimere for det værste tilfælde i stedet for det gennemsnitlige tilfælde."

Uden fakultetets medforfattere til at stå inde for dem, Ilyas og hans venner offentliggjorde deres undersøgelse under pseudonymet "Lab 6, "et teaterstykke på bane 6, deres Institut for Elektroteknik og Datalogi (EECS) hovedfag. Ilyas og Engstrøm, nu en MIT kandidatstuderende, ville fortsætte med at udgive yderligere fem artikler sammen, med en halv snes mere i pipelinen.

På det tidspunkt, risikoen ved modstridende eksempler var stadig dårligt forstået. Yann LeCun, lederen af ​​Facebook AI, berømt nedtonet problemet på Twitter. "Her siger en af ​​pionererne inden for deep learning:sådan er det, og de siger, næh!" siger EECS-professor Aleksander Madry. "Det lød bare ikke rigtigt for dem, og de var fast besluttet på at bevise hvorfor. Deres frækhed er meget MIT."

Omfanget af problemet er blevet tydeligere. I 2017 IBM-forsker Pin-Yu Chen viste, at en computervisionsmodel kunne blive kompromitteret i et såkaldt black-box-angreb ved blot at tilføre den progressivt ændrede billeder, indtil et fik systemet til at fejle. Udvider Chens arbejde på ICML sidste år, Lab 6-teamet fremhævede flere tilfælde, hvor klassificeringsorganer kunne blive narret til at forvirre katte og skiløbere til guacamole og hunde, henholdsvis.

Dette forår, Ilyas, Engstrøm, og Madry præsenterede en ramme på ICML til at lave black-box-angreb flere gange hurtigere ved at udnytte information opnået fra hvert spoofingforsøg. Evnen til at montere mere effektive black-box-angreb giver ingeniører mulighed for at redesigne deres modeller, så de er så meget mere modstandsdygtige.

"Da jeg mødte Andrew og Logan som studerende, de virkede allerede som erfarne forskere, " siger Chen, som nu arbejder med dem via MIT-IBM Watson AI Lab. "De er også gode samarbejdspartnere. Hvis man taler, den anden springer ind og gør sin tanke færdig."

Den dynamik blev vist for nylig, da Ilyas og Engstrom satte sig ned i Stata for at diskutere deres arbejde. Ilyas virkede introspektiv og forsigtig, Engstrøm, udgående, og til tider, bramfrit.

"I forskning, vi skændes meget, " siger Ilyas. "Hvis I er for ens, forstærker I hinandens dårlige ideer." Engstrøm nikkede. "Det kan blive meget anspændt."

Når det kommer tid til at skrive papirer, de skiftes til ved tastaturet. "Hvis det er mig, Jeg tilføjer ord, " siger Ilyas. "Hvis det er mig, Jeg skar ord, siger Engstrøm.

Engstrom sluttede sig til Madrys laboratorium for et SuperUROP-projekt som junior; Ilyas kom til sidste efterår som førsteårs ph.d. studerende efter at have afsluttet sine bachelor- og MEng-grader tidligt. Stillet over for tilbud fra andre topuddannelser, Ilyas valgte at blive på MIT. Et år senere, Engstrøm fulgte efter.

I foråret var parret tilbage i nyhederne igen, med en ny måde at se på modstridende eksempler:ikke som fejl, men som funktioner, der svarer til mønstre, der er for subtile til at mennesker kan opfatte, som stadig er nyttige til at lære algoritmer. Vi ved instinktivt, at mennesker og maskiner ser verden anderledes, men papiret viste, at forskellen kunne isoleres og måles.

De trænede en model til at identificere katte baseret på "robuste" egenskaber, der er genkendelige for mennesker, og "ikke-robuste" funktioner, som mennesker typisk overser, og fandt ud af, at visuelle klassifikatorer lige så nemt kunne identificere en kat ud fra ikke-robuste funktioner som robuste. Hvis noget, modellen så ud til at stole mere på de ikke-robuste funktioner, tyder på, at når nøjagtigheden forbedres, modellen kan blive mere modtagelig for modstridende eksempler.

"Det eneste, der gør disse funktioner specielle, er, at vi som mennesker ikke er følsomme over for dem, " fortalte Ilyas til Wired.

Deres eureka-øjeblik kom sent en aften i Madrys laboratorium, som de ofte gør, følgende timers snak. "Samtale er det mest kraftfulde værktøj til videnskabelig opdagelse, Madry kan lide at sige. Holdet skitserede hurtigt eksperimenter for at teste deres idé.

"Der er mange smukke teorier foreslået i deep learning, " siger Madry. "Men ingen hypotese kan accepteres, før du kommer med en måde at verificere den på."

"Dette er et nyt felt, " tilføjer han. "Vi kender ikke svarene på spørgsmålene, og jeg vil påstå, at vi ikke engang kender de rigtige spørgsmål. Andrew og Logan har glansen og drivet til at hjælpe med at vise vejen."

Denne historie er genudgivet med tilladelse fra MIT News (web.mit.edu/newsoffice/), et populært websted, der dækker nyheder om MIT-forskning, innovation og undervisning.