Læringens termodynamik

(Phys.org) - Mens vi undersøger, hvor effektivt hjernen kan lære nye oplysninger, fysikere har fundet ud af, at på neuronalt niveau, læringseffektivitet er i sidste ende begrænset af termodynamikkens love - de samme principper, der begrænser effektiviteten af ​​mange andre velkendte processer.

"Den største betydning af vores arbejde er, at vi bringer termodynamikkens anden lov til analyse af neurale netværk, "Sebastian Goldt ved universitetet i Stuttgart, Tyskland, fortalt Phys.org . "Den anden lov er en meget kraftfuld erklæring om, hvilke transformationer der er mulige - og læring er blot en transformation af et neuralt netværk på bekostning af energi. Dette gør vores resultater ret generelle og tager os et skridt i retning af at forstå de ultimative grænser for effektiviteten af neurale netværk. "

Goldt og medforfatter Udo Seifert har udgivet et papir om deres arbejde i et nylig nummer af Fysisk gennemgangsbreve .

Da al hjerneaktivitet er knyttet til affyring af milliarder af neuroner, på neuronalt niveau, spørgsmålet om "hvor effektivt kan vi lære?" bliver spørgsmålet om "hvor effektivt kan en neuron justere sit udgangssignal som reaktion på mønstrene for indgangssignaler, den modtager fra andre neuroner?" Efterhånden som neuroner bliver bedre til at fyre som reaktion på bestemte mønstre, de tilsvarende tanker forstærkes i vores hjerner, som antydet af ordsproget "brand sammen, ledning sammen. "

I den nye undersøgelse, forskerne viste, at læringseffektivitet er begrænset af den samlede entropi -produktion af et neuralt netværk. De demonstrerede, at jo langsommere en neuron lærer, jo mindre varme og entropi det producerer, øge dens effektivitet. I lyset af dette fund, forskerne introducerede et nyt mål for læringseffektivitet baseret på energikrav og termodynamik.

Da resultaterne er meget generelle, de kan anvendes på enhver læringsalgoritme, der ikke bruger feedback, såsom dem, der bruges i kunstige neurale netværk.

"At have et termodynamisk perspektiv på neurale netværk giver os et nyt værktøj til at tænke over deres effektivitet og giver os en ny måde at vurdere deres ydeevne, "Sagde Goldt." At finde det optimale kunstige neurale netværk med hensyn til denne vurdering er en spændende mulighed, og også en ganske udfordring. "

I fremtiden, forskerne planlægger at analysere effektiviteten af ​​læringsalgoritmer, der anvender feedback, samt undersøge muligheden for eksperimentelt at teste den nye model.

"På den ene side, vi undersøger i øjeblikket, hvad termodynamik kan lære os om andre læringsproblemer, "Sagde Goldt." På samme tid, vi ser på måder at gøre vores modeller og dermed vores resultater mere generelle. Det er en spændende tid at arbejde på neurale netværk! "

© 2017 Phys.org