En generativ hukommelsestilgang til at muliggøre livslang forstærkende læring

En vigtig begrænsning ved eksisterende kunstig intelligens (AI)-systemer er, at de ikke er i stand til at tackle opgaver, som de ikke er blevet trænet til. Faktisk, selv når de bliver omskolet, de fleste af disse systemer er tilbøjelige til at "katastrofale glemme, ' hvilket i bund og grund betyder, at en ny genstand kan forstyrre deres tidligere erhvervede viden.

For eksempel, hvis en model i første omgang trænes til at udføre opgave A og derefter genoptrænes til opgave B, dens udførelse af opgave A kunne falde betydeligt. En naiv løsning ville være uendeligt at tilføje flere neurale lag for at understøtte yderligere opgaver eller emner, der trænes, men en sådan tilgang ville ikke være effektiv, eller endda funktionelt skalerbar.

Forskere ved SRI international har for nylig forsøgt at anvende biologiske hukommelsesoverførselsmekanismer til AI-systemer, da de mener, at dette kan forbedre deres præstationer og gøre dem mere tilpasningsdygtige. Deres studie, forudgivet på arXiv, henter inspiration fra mekanismer for hukommelsesoverførsel hos mennesker, såsom langtids- og korttidshukommelse.

"Vi bygger en ny generation af AI-systemer, der kan lære af erfaringer, "Sek Chai, en co-PI af DARPA Lifelong Learning Machines (L2M)-projektet, fortalte TechXplore. "Det betyder, at de kan tilpasse sig nye scenarier baseret på deres erfaringer. I dag, AI-systemer fejler, fordi de ikke er adaptive. DARPA L2M-projektet, ledet af Dr. Hava Siegelmann, søger at opnå paradigmeændrende fremskridt inden for kunstig intelligens."

Hukommelsesoverførsel indebærer en kompleks sekvens af dynamiske processer, som giver mennesker let adgang til fremtrædende eller relevante minder, når de tænker, planlægning, skabe eller lave forudsigelser om fremtidige begivenheder. Søvn menes at spille en afgørende rolle i konsolideringen af ​​minder, især REM-søvn, det stadie, hvor drømmen forekommer oftest.

I deres undersøgelse, Chai og hans SRI-kolleger udviklede en generativ hukommelsesmekanisme, der kan bruges til at træne AI-systemer på en pseudo-genhør måde. Brug af afspilning og forstærkningslæring (RL), denne mekanisme gør det muligt for AI-systemer at lære af fremtrædende minder gennem deres levetid, og skalere med et stort antal træningsopgaver eller emner. Den generative hukommelsestilgang udviklet af Chai og hans kolleger bruger en kodningsmetode til at adskille det latente rum. Dette gør det muligt for et AI-system at lære, selv når opgaver ikke er veldefinerede, eller når antallet af opgaver er ukendt.

"Vores AI-system gemmer ikke direkte rådata, såsom video, lyd, etc., Chai forklarede. vi bruger generativ hukommelse til at generere eller forestille os, hvad den har oplevet tidligere. Generative AI-systemer er blevet brugt til at skabe kunst, musik, osv. I vores forskning, vi bruger dem til at indkode generative oplevelser, som kan bruges senere med forstærkende læring. En sådan tilgang er inspireret af biologiske mekanismer i søvn og drømme, hvor vi genkalder eller forestiller os fragmenter af oplevelser, der forstærkes i vores langtidsminder."

I fremtiden, den nye generative hukommelsestilgang introduceret af Chai og hans kolleger kunne hjælpe med at løse problemet med katastrofal forglemmelse i neurale netværksbaserede modeller, muliggør livslang læring i AI-systemer. Forskerne tester nu deres tilgang til computerbaserede strategispil, der almindeligvis bruges til at træne og evaluere AI-systemer.

"Vi bruger strategispil i realtid såsom StarCraft2 til at træne og studere vores AI-agenter om livslang læringsmålinger såsom tilpasning, robusthed, og sikkerhed, " sagde Chai. "Vores AI-agenter er trænet med overraskelser injiceret i spillet (f.eks. ændringer i terræn og enhedskapacitet)."

© 2019 Science X Network