BinaryGAN:et generativt modstridende netværk med binære neuroner

Forskere ved Research Center for IT Innovation of Academia Sinica, i Taiwan, har for nylig udviklet et nyt generativt adversarielt netværk (GAN), der har binære neuroner ved generatorens outputlag. denne model, præsenteret i et papir, der er forududgivet på arXiv, kan direkte generere binære forudsigelser på testtidspunktet.

Indtil nu, GAN-tilgange har opnået bemærkelsesværdige resultater i modellering af kontinuerlige distributioner. Ikke desto mindre, at anvende GAN'er på diskrete data har hidtil været noget udfordrende, især på grund af vanskeligheder med at optimere modelfordelingen mod måldatafordelingen i et højdimensionelt diskret rum.

Hao-Wen Dong, en af ​​de forskere, der har udført undersøgelsen, fortalte Tech Xplore , "Jeg arbejder i øjeblikket på musikgenerering i Music and AI Lab på Academia Sinica. Efter min mening, at komponere kan fortolkes som en række beslutninger - f.eks. vedrørende instrumentering, akkorder og endda de nøjagtige toner, der skal bruges. At bevæge sig hen imod at opnå den store vision om en solid AI-komponist, Jeg er især interesseret i, om dybe generative modeller som GAN'er er i stand til at træffe beslutninger. Derfor, dette arbejde undersøgte, om vi kan træne en GAN, der bruger binære neuroner til at træffe binære beslutninger ved hjælp af backpropagation, standard træningsalgoritmen."

Dong og hans rådgiver Yi-Hsuan Yang udviklede en model, der direkte kan generere binære forudsigelser på testtidspunktet. De brugte det derefter til at generere binære MNIST-cifre og sammenligne ydeevnen af ​​forskellige typer binære neuroner, GAN-mål og netværksarkitekturer.

"I en nøddeskal, BinaryGAN er et GAN, der adopterer binære neuroner, neuroner, der udsender enten et et eller et nul, ved generatorens outputlag, " Dong sagde. "En GAN har to hovedkomponenter:generatoren og diskriminatoren. Generatoren har til formål at producere falske dataprøver, der er i stand til at narre diskriminatoren til at klassificere genererede prøver som ægte. På den anden side, målet med diskriminatoren er at skelne falske fra rigtige data. Feedbacken fra diskriminatoren bruges derefter til at forbedre generatoren. Efter træningen, generatoren kan derefter bruges til at generere nye dataeksempler."

Forskerne var i stand til effektivt at træne BinaryGAN, deres generative model med binære neuroner. Deres resultater tyder også på, at brugen af ​​gradientestimatorer kunne være en lovende tilgang til modellering af diskrete distributioner med GAN'er.

"Med brug af gradientestimatorer, vi var i stand til at træne BinaryGAN, ved hjælp af tilbagepropageringsalgoritmen, " sagde Dong. "Desuden, den binarisering, der blev vedtaget i modellen, resulterede i særskilte karakteristika for de mellemliggende repræsentationer, der blev lært af de dybe neurale netværk. Dette understreger også vigtigheden af ​​at inkludere binariseringsoperationer i træningen, så disse binariseringsoperationer også kan optimeres."

Dong og Yang søger nu at anvende et GAN, der adopterer binære neuroner til realiseringen af ​​en betinget beregningsgraf. I dette tilfælde, nogle komponenter vil blive aktiveret og deaktiveret, i henhold til de beslutninger, der er truffet af netværkets binære neuroner.

"Dette er vigtigt, for det giver os mulighed for at bygge en mere kompleks model, der er afhængig af beslutninger, der er truffet på de tidlige lag af netværket, " sagde Dong. "F.eks. vi kunne bygge en AI-komponist, der først lærer at bestemme instrumentering og akkorder og derefter komponere derefter."

© 2018 Tech Xplore