De potentielle risici ved belønningshacking i avanceret kunstig intelligens

Ny forskning offentliggjort i AI Magazine udforsker, hvordan avanceret kunstig intelligens kunne hacke belønningssystemer med farlig effekt.

Forskere ved University of Oxford og Australian National University analyserede adfærden hos fremtidige avancerede forstærkningslæringsagenter (RL), som foretager handlinger, observerer belønninger, lærer, hvordan deres belønninger afhænger af deres handlinger, og vælger handlinger for at maksimere de forventede fremtidige belønninger. Efterhånden som RL-agenter bliver mere avancerede, er de bedre i stand til at genkende og udføre handlingsplaner, der medfører mere forventet belønning, selv i sammenhænge, ​​hvor belønning kun modtages efter imponerende bedrifter.

Hovedforfatter Michael K. Cohen siger:"Vores vigtigste indsigt var, at avancerede RL-agenter bliver nødt til at stille spørgsmålstegn ved, hvordan deres belønninger afhænger af deres handlinger."

Svarene på det spørgsmål kaldes verdensmodeller. En verdensmodel af særlig interesse for forskerne var verdensmodellen, som forudsiger, at agenten bliver belønnet, når dens sensorer kommer ind i bestemte tilstande. Med forbehold for et par antagelser finder de ud af, at agenten ville blive afhængig af at kortslutte sine belønningssensorer, ligesom en heroinmisbruger.

I modsætning til en heroinmisbruger ville en avanceret RL-agent ikke blive kognitivt svækket af en sådan stimulus. Det ville stadig vælge handlinger meget effektivt for at sikre, at intet i fremtiden nogensinde forstyrrede dets belønninger.

"Problemet," siger Cohen, "er, at den altid kan bruge mere energi på at lave en stadig mere sikker fæstning til sine sensorer, og i betragtning af dets nødvendighed at maksimere forventede fremtidige belønninger, vil det altid gøre det."

Cohen og kolleger konkluderer, at et tilstrækkeligt avanceret RL-middel så ville udkonkurrere os om brugen af ​​naturressourcer som energi. + Udforsk yderligere

Kontanter er måske ikke den mest effektive måde at motivere medarbejdere på