Beskyttelse af smarte maskiner mod smarte angreb

Maskiners evne til at lære ved at behandle data hentet fra sensorer ligger til grund for automatiserede køretøjer, medicinsk udstyr og en lang række andre nye teknologier. Men denne læringsevne efterlader systemer sårbare over for hackere på uventede måder, forskere ved Princeton University har fundet.

I en række nyere aviser, et forskerhold har undersøgt, hvordan modstridende taktik anvendt på kunstig intelligens (AI) kunne, for eksempel, narre et trafikeffektivt system til at forårsage gridlock eller manipulere en sundhedsrelateret AI-applikation for at afsløre patienters private medicinske historie. Som et eksempel på et sådant angreb, holdet ændrede en kørende robots opfattelse af et vejskilt fra en hastighedsbegrænsning til et "stop" -skilt, hvilket kan få køretøjet til farligt at slå bremserne ved motorvejshastigheder; i andre eksempler, de ændrede stopskilte for at blive opfattet som en række andre trafikinstruktioner.

"Hvis maskinlæring er fremtidens software, vi er på et meget grundlæggende udgangspunkt for at sikre det, "sagde Prateek Mittal, hovedforsker og lektor i Institut for Elektroteknik i Princeton. "For at maskinlæringsteknologier skal nå deres fulde potentiale, vi er nødt til at forstå, hvordan maskinlæring fungerer i nærværelse af modstandere. Det er her, vi har en stor udfordring.

Ligesom software er tilbøjelig til at blive hacket og inficeret af computervirus, eller dets brugere målrettet af svindlere gennem phishing og andre sikkerhedsbrudte tricks, AI-drevne applikationer har deres egne sårbarheder. Imidlertid er implementeringen af ​​passende sikkerhedsforanstaltninger haltet. Indtil nu, mest udvikling af maskinlæring er sket i godartet, lukkede miljøer - en radikalt anderledes ramme end ude i den virkelige verden.

Mittal er en pioner i forståelsen af ​​en voksende sårbarhed kendt som adversarial machine learning. I det væsentlige, denne type angreb får AI -systemer til at producere utilsigtet, muligvis farlige resultater ved at ødelægge læringsprocessen. I deres seneste serie af papirer, Mittals gruppe beskrev og demonstrerede tre brede former for adversarial machine learning angreb.

Forgiftning af dataene godt

Det første angreb involverer en ondsindet agent, der indsætter falske oplysninger i datastrømmen, som et AI -system bruger til at lære - en fremgangsmåde kendt som dataforgiftning. Et almindeligt eksempel er et stort antal brugeres telefoner, der rapporterer om trafikforhold. Sådanne crowdsourcedata kan bruges til at træne et AI -system til at udvikle modeller til bedre kollektiv routing af autonome biler, reducere trængsel og spildt brændstof.

"En modstander kan simpelthen injicere falske data i kommunikationen mellem telefonen og enheder som Apple og Google, og nu kan deres modeller potentielt blive kompromitteret, "sagde Mittal." Alt, hvad du lærer af korrupte data, vil blive mistænkt. "

Mittals gruppe demonstrerede for nylig en slags næste niveau fra denne simple dataforgiftning, en tilgang, de kalder "modelforgiftning". I AI, en "model" kan være et sæt ideer, som en maskine har dannet, baseret på dets analyse af data, om hvordan en del af verden fungerer. På grund af privatlivets fred, en persons mobiltelefon kan generere sin egen lokaliserede model, tillader, at den enkeltes data holdes fortrolige. De anonymiserede modeller deles derefter og samles med andre brugeres modeller. "I stigende grad, virksomheder bevæger sig mod distribueret læring, hvor brugerne ikke deler deres data direkte, men træner i stedet lokale modeller med deres data, "sagde Arjun Nitin Bhagoji, en ph.d. elev i Mittals laboratorium.

Men modstandere kan sætte en tommelfinger på vægten. En person eller virksomhed med interesse i resultatet kan narre virksomhedens servere til at veje deres models opdateringer frem for andre brugeres modeller. "Modstanderens mål er at sikre, at data efter eget valg klassificeres i den klasse, de ønsker, og ikke den sande klasse, "sagde Bhagoji.

I juni, Bhagoji fremlagde et papir om dette emne på den internationale konference om maskinlæring (ICML) i Long Beach i 2019, Californien, i samarbejde med to forskere fra IBM Research. Papiret undersøgte en testmodel, der er afhængig af billedgenkendelse for at klassificere, om folk på billederne har sandaler eller sneakers på. Mens en induceret fejlklassificering af denne art lyder harmløs, det er den slags uretfærdig undergang, som en skrupelløs virksomhed kan deltage i for at promovere sit produkt frem for en rival.

"Den slags modstandere, vi skal overveje i kontradiktorisk AI -forskning, spænder fra individuelle hackere, der forsøger at afpresse mennesker eller virksomheder for penge, til virksomheder, der forsøger at opnå forretningsmæssige fordele, til modstandere på nationalstatsniveau, der søger strategiske fordele, sagde Mittal, som også er tilknyttet Princetons Center for Information Technology Policy.

Brug af maskinlæring mod sig selv

En anden bred trussel kaldes et unddragelsesangreb. Det forudsætter, at en machine learning -model med succes har trænet i ægte data og opnået høj nøjagtighed uanset dens opgave. En modstander kunne vende den succes på hovedet, selvom, ved at manipulere de input, systemet modtager, når det begynder at anvende sin læring på virkelige beslutninger.

For eksempel, AI for selvkørende biler er blevet uddannet til at genkende hastighedsbegrænsning og stopskilte, mens man ignorerer skilte til fastfood -restauranter, tankstationer, og så videre. Mittals gruppe har undersøgt et smuthul, hvorved tegn kan fejlklassificeres, hvis de er markeret på måder, som et menneske måske ikke bemærker. Forskerne lavede falske restaurantskilte med ekstra farve, der ligner graffiti eller paintball -stænk. Ændringerne narrede bilens AI til at forveksle restaurantskiltene med stopskilte.

"Vi tilføjede små ændringer, der kunne narre dette system til genkendelse af trafikskilte, "sagde Mittal. Et papir om resultaterne blev præsenteret på 1. Deep Learning and Security Workshop (DLS), afholdt i maj 2018 i San Francisco af Institute of Electrical and Electronics Engineers (IEEE).

Selv om det er mindre og kun til demonstration, skiltningspræfidensen afslører igen en måde, hvorpå maskinindlæring kan kapres til forfærdelige formål.

Ikke respekt for privatlivets fred

Den tredje brede trussel er fortrolighedsangreb, som sigter mod at udlede følsomme data, der bruges i læreprocessen. I nutidens konstant internetforbundne samfund, der er masser af det sloshing rundt. Modstandere kan prøve at piggyback på maskinindlæringsmodeller, når de opsuger data, få adgang til beskyttede oplysninger såsom kreditkortnumre, sundhedsjournaler og brugernes fysiske placeringer.

Et eksempel på denne fejl, studerede på Princeton, er "medlemsinferensangrebet". Det virker ved at måle, om et bestemt datapunkt falder inden for et måls maskinlæringsuddannelsessæt. For eksempel, skal en modstander slukke for en brugers data, mens han gennemgår et sundhedsrelateret AI-applikations træningssæt, disse oplysninger vil stærkt tyde på, at brugeren engang var en patient på hospitalet. At forbinde prikkerne på en række sådanne punkter kan afsløre identificerende detaljer om en bruger og deres liv.

Beskyttelse af privatlivets fred er mulig, men på dette tidspunkt indebærer det en sikkerhedsmæssig afvejning - forsvar, der beskytter AI -modellerne mod manipulation via unddragelsesangreb, kan gøre dem mere sårbare over for medlemskabsafslutningsangreb. Det er en vigtig takeaway fra et nyt papir, der blev accepteret til den 26. ACM -konference om computer- og kommunikationssikkerhed (CCS), afholdes i London i november 2019, ledet af Mittals kandidatstuderende Liwei Song. Den defensive taktik, der bruges til at beskytte mod unddragelsesangreb, er stærkt afhængig af følsomme data i træningssættet, hvilket gør disse data mere sårbare over for angreb på fortrolige oplysninger.

Det er den klassiske debat om sikkerhed versus privatliv, denne gang med et twist til maskinlæring. Sangen understreger, ligesom Mittal, at forskere bliver nødt til at begynde at behandle de to domæner som uløseligt forbundet, frem for at fokusere på det ene uden at tage højde for dets indvirkning på det andet.

"I vores papir, ved at vise den øgede lækage af privatlivets fred, der blev indført ved forsvar mod unddragelsesangreb, vi har understreget vigtigheden af ​​at tænke på sikkerhed og privatliv sammen, sagde sang,

Det er endnu tidlige dage for maskinlæring og modstridende AI - måske tidligt nok til, at de trusler, der uundgåeligt materialiserer sig, ikke vil have overhånden.

"Vi går ind i en ny æra, hvor maskinlæring i stigende grad vil blive integreret i næsten alt, hvad vi gør, "sagde Mittal." Det er bydende nødvendigt, at vi genkender trusler og udvikler modforanstaltninger mod dem. "