Forsvar mod modstandsdygtig kunstig intelligens

I dag, maskinlæring (ML) kommer til sin ret, klar til at tjene menneskeheden i en bred vifte af applikationer – fra højeffektiv fremstilling, medicin og massiv informationsanalyse til selvkørende transport, og videre. Imidlertid, hvis den anvendes forkert, misbrugt eller undergravet, ML rummer potentialet for stor skade – dette er maskinlæringens tveæggede sværd.

"I løbet af det sidste årti, forskere har fokuseret på at realisere praktisk ML, der er i stand til at udføre opgaver i den virkelige verden og gøre dem mere effektive, " sagde Dr. Hava Siegelmann, programleder i DARPAs Information Innovation Office (I2O). "Vi nyder allerede godt af det arbejde, og hurtigt at integrere ML i en række virksomheder. Men, på en meget virkelig måde, vi skyndte os frem, at være lidt opmærksom på sårbarheder, der er iboende i ML-platforme – især med hensyn til at ændre, korrumperer eller bedrager disse systemer."

I et almindeligt nævnt eksempel, ML brugt af en selvkørende bil blev narret af visuelle ændringer af et stopskilt. Mens et menneske, der ser det ændrede tegn, ikke ville have svært ved at fortolke dets betydning, ML fortolkede fejlagtigt stopskiltet som en hastighedsbegrænsning på 45 mph. I et angreb fra den virkelige verden som dette, den selvkørende bil ville accelerere gennem stopskiltet, potentielt forårsage et katastrofalt resultat. Dette er blot et af mange nyligt opdagede angreb, der gælder for stort set alle ML-applikationer.

For at komme foran denne akutte sikkerhedsudfordring, DARPA skabte programmet Guaranteing AI Robustness against Deception (GARD). GARD sigter mod at udvikle en ny generation af forsvar mod modstridende vildledningsangreb på ML-modeller. Den nuværende forsvarsindsats var designet til at beskytte mod specifikke, foruddefinerede modstridende angreb og, forblev sårbare over for angreb uden for deres designparametre, når de blev testet. GARD søger at gribe ML-forsvaret anderledes an – ved at udvikle bredt baserede forsvar, der adresserer de mange mulige angreb i et givet scenarie.

"Der er et kritisk behov for ML-forsvar, da teknologien i stigende grad bliver inkorporeret i nogle af vores mest kritiske infrastrukturer. GARD-programmet søger at forhindre det kaos, der kan opstå i den nærmeste fremtid, når angrebsmetoder, nu i deres vorden, er modnet til et mere destruktivt niveau. Vi skal sikre, at ML er sikker og ude af stand til at blive bedraget, " sagde Siegelmann.

GARDs nye svar på modstridende AI vil fokusere på tre hovedmål:1) udvikling af teoretiske grundlag for forsvarlig ML og et leksikon af nye forsvarsmekanismer baseret på dem; 2) skabelse og afprøvning af forsvarlige systemer i en bred vifte af indstillinger; og 3) konstruktionen af ​​en ny testbed til karakterisering af ML-forsvarlighed i forhold til trusselsscenarier. Gennem disse indbyrdes afhængige programelementer, GARD sigter mod at skabe vildledende ML-teknologier med strenge kriterier for evaluering af deres robusthed.

GARD vil udforske mange forskningsretninger for potentielle forsvar, herunder biologi. "Den slags brede scenariebaserede forsvar, vi søger at generere, kan ses, for eksempel, i immunsystemet, som identificerer angreb, vinder og husker angrebet for at skabe et mere effektivt svar under fremtidige engagementer, sagde Siegelmann.

GARD vil arbejde på at imødekomme nuværende behov, men holder også fremtidige udfordringer for øje. Programmet vil i første omgang koncentrere sig om state-of-the-art billedbaseret ML, derefter gå videre til video, lyd og mere komplekse systemer – herunder multisensor- og multimodalitetsvariationer. Det vil også søge at adressere ML, der er i stand til at forudsige, beslutninger og tilpasning i løbet af sin levetid.

Der afholdes forslagsdag den 6. februar, 2019, fra 9:00 til 14:00 (EST) i DARPA Conference Center, beliggende på 675 N. Randolph Street, Arlington, Virginia, 22203 for at give flere detaljer om GARD-programmets tekniske mål og udfordringer.

Yderligere oplysninger vil være tilgængelige i den kommende Broad Agency-meddelelse, som vil blive sendt på www.fbo.gov.