En metode til at reducere antallet af neuroner i tilbagevendende neurale netværk

Et team af forskere ved Queen's University, i Canada, har for nylig foreslået en ny metode til at reducere tilfældige tilbagevendende neurale netværk (rRNN), en klasse af kunstige neurale netværk, der ofte bruges til at lave forudsigelser ud fra data. Deres tilgang, præsenteret i et papir, der på forhånd er offentliggjort på arXiv, tillader udviklere at minimere antallet af neuroner i et rRNNs skjulte lag, og dermed forbedre dens forudsigelsesydelse.

"Vores laboratorium fokuserer på at designe hardware til applikationer til kunstig intelligens, "Bicky Marquez, en af ​​de forskere, der har udført undersøgelsen, fortalte TechXplore. "I dette studie, vi ledte efter strategier til at forstå driftsprincipperne for neurale netværk, og på samme tid, forsøger at reducere antallet af neuroner i netværk, som vi havde til formål at opbygge uden at påvirke deres ydeevne negativt, når vi skulle løse en opgave. Den vigtigste opgave, vi ønskede at tackle, var forudsigelse, da dette altid har været af stor interesse for det videnskabelige samfund og samfundet som helhed."

Udvikling af maskinlæringsværktøjer, der kan forudsige fremtidige mønstre fra data, er blevet nøglefokus for mange forskningsgrupper verden over. Dette er langt fra overraskende, som forudsigelse af fremtidige begivenheder kan have vigtige anvendelser på en række områder, for eksempel, forudsiger vejret, forudsige lagerbevægelser, eller kortlægning af udviklingen af ​​nogle menneskelige patologier.

Undersøgelsen udført af Marquez og hendes kolleger er af tværfaglig karakter, da den fusionerer teorier relateret til ikke -lineære dynamiske systemer, tidsserieanalyse, og maskinlæring. Forskernes primære mål var at udvide værktøjskassen, der tidligere var tilgængelig til analyse af neurale netværk, minimere antallet af neuroner i det skjulte lag af rRNN'er, og delvist fjerne black-box-egenskaben for disse netværk.

For at opnå dette, de introducerede en ny metode, der fletter forudsigelsesteori og maskinlæring til én ramme. Deres teknik kan bruges til at udtrække og bruge relevante funktioner i en rNN's inputdata og guide nedskæringsprocessen af ​​dets skjulte lag, i sidste ende forbedre sin forudsigelsesydelse.

Forskerne brugte den indsigt, der var indsamlet i deres undersøgelse, til at udvikle en ny kunstig neuralt netværksmodel kaldet en Takens-inspireret processor. Denne model, sammensat af både virkelige og virtuelle neuroner, opnået state-of-the-art præstation på udfordrende problemer såsom høj kvalitet, langsigtet forudsigelse af kaotiske signaler.

"Den største fordel ved vores model er, at den løser problemerne skabt af den enorme mængde neuroner, der udgør typiske kunstige neurale netværk, " Marquez forklarede. "Overskuddet af neuroner i disse modeller udmønter sig normalt i beregningsmæssigt dyre problemer, når man overvejer optimering af sådanne netværk for at løse en opgave. Inkluderingen af ​​begrebet virtuelle neuroner i vores design er et yderst bekvemt skridt til reduktion af mængden af ​​fysiske neuroner. "

I deres undersøgelse, Marquez og hendes kolleger brugte også deres hybridprocessor til at stabilisere en arytmisk neural model af neuronal excitabilitet kaldet Fitz-Hugh-Nagumo. Deres metode gav dem mulighed for at reducere størrelsen på det stabiliserende neurale netværk med en faktor 15 i sammenligning med andre standard neurale netværk.

"Vores tilgang gav os mulighed for at afdække nogle relevante funktioner, der skabes inden for netværksrummet, og som er de grundlæggende midler til vellykkede forudsigelser, " sagde Marquez. "Hvis vi kan identificere og fjerne støjen omkring disse vigtige funktioner, vi kunne bruge dem til at forbedre ydeevnen af ​​vores netværk."

Metoden udtænkt af Marquez og hendes kolleger er en vigtig tilføjelse til de tidligere tilgængelige værktøjer til udvikling og analyse af rRNN. I fremtiden, deres tilgang kunne informere designet af mere effektive neurale netværk til forudsigelse, reducere antallet af noder og forbindelser indeholdt i dem. Deres teknik kunne også gøre rRNN'er mere gennemsigtige, giver brugerne adgang til nøgleindsigt i, hvordan et system er nået til en given konklusion.

"Vi er fokuseret på neuromorfisk hardware, "Sagde Marquez." Derfor, vores næste trin vil være relateret til den fysiske implementering af sådanne tilfældige tilbagevendende netværk. Vores ultimative mål er at designe hjerne-inspirerede computere, der kan løse kunstig intelligens problemer meget effektivt:ultrahurtige og med lavt energiforbrug."

© 2019 Science X Network