Træning med søgealgoritme for stoftilstande muliggør beskæring af neuronmodeller

Kunstige neurale netværk er maskinlæringssystemer sammensat af et stort antal forbundne noder kaldet kunstige neuroner. Svarende til neuronerne i en biologisk hjerne, disse kunstige neuroner er de primære grundlæggende enheder, der bruges til at udføre neurale beregninger og løse problemer. Fremskridt inden for neurobiologi har illustreret den vigtige rolle, som dendritiske cellestrukturer spiller i neurale beregninger, og dette har ført til udviklingen af ​​kunstige neuronmodeller baseret på disse strukturer.

Den nyligt udviklede tilnærmede logiske neuronmodel (ALNM) er en enkelt neural model, der har en dynamisk dendritisk struktur. ALNM kan bruge en neural beskæringsfunktion til at eliminere unødvendige dendritgrene og synapser under træning for at løse et specifikt problem. Den resulterende forenklede model kan derefter implementeres i form af et hardwarelogikkredsløb.

Imidlertid, den velkendte backpropagation (BP) algoritme, der blev brugt til at træne ALMN, begrænsede faktisk neuronmodellens beregningskapacitet. "BP-algoritmen var følsom over for startværdier og kunne nemt fanges i lokale minima, " siger den korresponderende forfatter Yuki Todo fra Kanazawa University's fakultet for elektrisk og computerteknologi. "Vi har derfor evalueret mulighederne for adskillige heuristiske optimeringsmetoder til træning af ALMN."

Efter en række eksperimenter, algoritmen for søgning af stoftilstande (SMS) blev valgt som den mest passende træningsmetode for ALMN. Seks benchmark klassificeringsproblemer blev derefter brugt til at evaluere ALNM's optimeringsydelse, når den blev trænet ved at bruge SMS'en som en indlæringsalgoritme, og resultaterne viste, at SMS gav overlegen træningsydelse sammenlignet med BP og de andre heuristiske algoritmer med hensyn til både nøjagtighed og konvergenshastighed.

"En klassificering baseret på ALNM og SMS blev også sammenlignet med flere andre populære klassificeringsmetoder, " siger lektor Todo, "og de statistiske resultater bekræftede denne klassifikators overlegenhed på disse benchmarkproblemer."

Under uddannelsesprocessen, ALNM forenklede neurale modeller gennem synaptisk beskæring og dendritiske beskæringsprocedurer, og de forenklede strukturer blev derefter erstattet ved hjælp af logiske kredsløb. Disse kredsløb gav også tilfredsstillende klassificeringsnøjagtighed for hvert af benchmarkproblemerne. Den lette hardwareimplementering af disse logiske kredsløb tyder på, at fremtidig forskning vil se ALNM og SMS bruges til at løse stadig mere komplekse og højdimensionelle problemer i den virkelige verden.