Brug af spilteori til at modellere scenarier for forgiftningsangreb

Forgiftningsangreb er blandt de største sikkerhedstrusler for maskinlæringsmodeller (ML). I denne type angreb, en modstander forsøger at kontrollere en brøkdel af de data, der bruges til at træne neurale netværk og injicerer ondsindede datapunkter for at hindre en models ydeevne.

Selvom forskere har forsøgt at udvikle teknikker, der kunne opdage eller modvirke disse angreb, effektiviteten af ​​disse teknikker afhænger ofte af, hvornår og hvordan de anvendes. Ud over, nogle gange kan anvendelse af filtreringsteknikker til at screene ML-modeller mod forgiftningsangreb reducere deres nøjagtighed, forhindrer dem i at analysere både ægte og korrupte data.

I en nylig undersøgelse, forskere ved McMaster University i Canada har med succes brugt spilteori til at modellere scenarier for forgiftningsangreb. Deres resultater, skitseret i et papir, der er forududgivet på arXiv, beviser ikke -eksistensen af ​​en ren strategi Nash -ligevægt, hvilket indebærer, at hver spiller gentagne gange vælger den samme strategi i angriber- og forsvarsspillet.

At studere adfærden hos både angribere og forsvarere, når forgiftningsangreb finder sted, kan hjælpe med at udvikle ML-algoritmer, der er mere beskyttet mod dem og alligevel bevarer deres nøjagtighed. I deres undersøgelse, forskerne forsøgte at modellere forgiftningsangreb i sammenhæng med spilteori, en gren af ​​matematik, der beskæftiger sig med bedre forståelse af strategier, der bruges i konkurrencesituationer (f.eks. spil), hvor et resultat i høj grad afhænger af de involveredes (dvs. deltageres) valg.

"Målet med dette papir er at finde Nash-ligevægten (NE) for spilmodellen for forgiftningsangreb og forsvar, "Yifan Ou og Reza Samavi, de to forskere, der har udført undersøgelsen, forklare i deres papir. "Identifikation af NE -strategien giver os mulighed for at finde den optimale filterstyrke for den forsvarende algoritme, samt den resulterende indvirkning på ML-modellen, når både angriberen og forsvareren bruger optimale strategier."

I spilteori, NE er en stabil tilstand af et system, der involverer konkurrerende interaktioner mellem forskellige deltagere (f.eks. et spil). Når NE opstår, ingen deltager kan vinde noget ved en ensidig ændring af strategien, hvis de andre spilleres/spillernes strategi forbliver uændret.

I deres undersøgelse, Ou og Samavi forsøgte at finde NE i sammenhæng med forgiftningsangreb og forsvarsstrategier. Først, de brugte spilteori til at modellere dynamikken i forgiftningsangreb og beviste, at en ren NE ikke eksisterer i en sådan model. Efterfølgende de foreslog en blandet NE -strategi for denne særlige spilmodel og viste dens effektivitet i en eksperimentel indstilling.

"Vi brugte spilteori til at modellere angriber- og forsvarerstrategier i forgiftning af angrebsscenarier, " skrev forskerne i deres papir. "Vi beviste ikke-eksistensen af ​​den rene strategi NE, foreslået en blandet udvidelse af vores spilmodel og en algoritme til at tilnærme NE-strategien for forsvareren, demonstrerede derefter effektiviteten af ​​den blandede forsvarsstrategi genereret af algoritmen. "

I fremtiden, forskerne vil gerne undersøge en mere generel tilgang til behandling af forgiftningsangreb, hvilket indebærer detektering og afvisning af prøver ved hjælp af revisionsalgoritmer. Denne alternative tilgang kan være særlig effektiv til at opdatere og forbedre en trænet model i situationer, hvor brugernes feedback søges online.

© 2019 Science X Network