Forskere udvikler effektiv distribueret dyb læring

En ny algoritme muliggør dyb læring, der er mere samarbejds- og kommunikationseffektiv end traditionelle metoder.

Hærens forskere udviklede algoritmer, der letter distribueret, decentraliserede og kollaborative læringsmuligheder blandt enheder, undgår behovet for at samle alle data på en central server til læring.

"Der har været en eksponentiel vækst i mængden af ​​data indsamlet og gemt lokalt på individuelle smartenheder, " sagde Dr. Jemin George, en hærforsker ved U.S. Army Combat Capabilities Development Command's Army Research Laboratory. "Tallige forskningsindsatser såvel som virksomheder har fokuseret på at anvende maskinlæring til at udtrække værdi fra så massive data for at give datadrevet indsigt, beslutninger og forudsigelser."

Imidlertid, ingen af ​​disse bestræbelser adresserer nogen af ​​de problemer, der er forbundet med at anvende maskinlæring på en bestridt, overbelastet og begrænset kamprum, sagde George. Disse kamprumsbegrænsninger bliver mere tydelige, når enhederne bruger deep learning algoritmer til beslutningstagning på grund af de store beregningsomkostninger i form af læringstid og processorkraft.

"Denne forskning forsøger at adressere nogle af udfordringerne ved at anvende maskinlæring, eller dyb læring, i militære miljøer, " sagde Dr. Prudhvi Gurram, en videnskabsmand, der har bidraget til denne forskning. "Tidlige indikationer og advarsler om trusler øger situationsbevidstheden og bidrager til, hvordan hæren udvikler sig og tilpasser sig for at besejre modstridende trusler."

Forskerne præsenterede deres resultater på den 34. Association for the Advancement of Artificial Intelligence Conference on Artificial Intelligence i New York. En fortrykt version af avisen er online..

I en tidligere undersøgelse (se relaterede links nedenfor), forskerne påviste, at de distribuerede deep learning-algoritmer kan give den samme ydeevne som de typiske centraliserede læringsalgoritmer uden at aggregere dataene på en enkelt, central beliggenhed, samtidig med at læringstiden reduceres lineært med antallet af enheder eller agenter, der er involveret i distribueret læring.

"Distribuerede læringsalgoritmer kræver typisk adskillige kommunikationsrunder mellem de agenter eller enheder, der er involveret i læringsprocessen, for at dele deres nuværende model med resten af ​​netværket, " sagde George. "Dette giver adskillige kommunikationsudfordringer."

Hærens forskere udviklede en ny teknik til markant at reducere kommunikationsomkostningerne, med op til 70 % i visse scenarier, uden at ofre indlæringshastigheden eller ydeevnenøjagtigheden.

Forskerne udviklede en udløsende mekanisme, som kun gjorde det muligt for de enkelte agenter at kommunikere deres model med deres naboer, hvis den har ændret sig væsentligt siden den sidst blev transmitteret. Selvom dette reducerer kommunikationsinteraktionen mellem agenterne markant, det påvirker ikke den samlede indlæringshastighed eller præstationsnøjagtigheden af ​​den endelige lærte model, sagde George.

Hærens forskere undersøger, hvordan denne forskning kan anvendes til Internet of Battlefield Things, inkorporering af kvantiserede og komprimerede kommunikationsskemaer til den aktuelle algoritme for yderligere at reducere kommunikationsomkostningerne.

Hærens moderniseringsprioriteter inkluderer næste generations computernetværk (se relaterede links nedenfor), som gør det muligt for hæren at levere ledergodkendte teknologikapaciteter til krigskæmpere med det bedst mulige investeringsafkast for hæren.

Fremtidige bestræbelser vil evaluere algoritmens adfærd på større, militærrelevante datasæt ved hjælp af de computerressourcer, der er tilgængelige gennem U.S. Army AI Innovation Institute, med algoritmen, der forventes at gå over til at køre på edge-enheder, sagde George.