CosmoGAN:Træning af et neuralt netværk til at studere mørkt stof

Mens kosmologer og astrofysikere dykker dybere ned i universets mørkeste fordybninger, deres behov for stadig stærkere observations- og beregningsværktøjer er vokset eksponentielt. Fra faciliteter som Dark Energy Spectroscopic Instrument til supercomputere som Lawrence Berkeley National Laboratorys Cori-system på National Energy Research Scientific Computing (NERSC) faciliteten, de er på jagt efter at samle, simulere, og analysere stigende mængder af data, der kan hjælpe med at forklare arten af ​​ting, vi ikke kan se, så godt som dem vi kan.

Til dette formål, gravitationslinser er et af de mest lovende værktøjer, videnskabsmænd har til at udtrække denne information ved at give dem mulighed for at undersøge både universets geometri og væksten af ​​kosmisk struktur. Gravitationslinser forvrænger billeder af fjerne galakser på en måde, der bestemmes af mængden af ​​stof i sigtelinjen i en bestemt retning, og det giver en måde at se på et todimensionelt kort over mørkt stof, ifølge Deborah Bard, Gruppeleder for Data Science Engagement Group i Berkeley Labs National Energy Research Scientific Computing Center (NERSC).

"Gravitationslinser er en af ​​de bedste måder, vi har til at studere mørkt stof på, hvilket er vigtigt, fordi det fortæller os meget om universets struktur, " sagde hun. "Størstedelen af ​​stof i universet er mørkt stof, som vi ikke kan se direkte, så vi er nødt til at bruge indirekte metoder til at studere, hvordan det er fordelt."

Men efterhånden som eksperimentelle og teoretiske datasæt vokser, sammen med de simuleringer, der er nødvendige for at afbilde og analysere disse data, en ny udfordring er dukket op:Disse simuleringer er i stigende grad – endda uoverkommeligt – beregningsmæssigt dyre. Så beregningskosmologer tyer ofte til beregningsmæssigt billigere surrogatmodeller, som efterligner dyre simuleringer. For nylig, imidlertid, "fremskridt inden for dybe generative modeller baseret på neurale netværk åbnede muligheden for at konstruere mere robuste og mindre håndkonstruerede surrogatmodeller til mange typer simulatorer, inklusive dem i kosmologi, " sagde Mustafa Mustafa, en maskinlæringsingeniør ved NERSC og hovedforfatter på en ny undersøgelse, der beskriver en sådan tilgang udviklet af et samarbejde, der involverer Berkeley Lab, Google Research, og University of KwaZulu-Natal.

En række dybe generative modeller bliver undersøgt til videnskabelige applikationer, men det Berkeley Lab-ledede hold tager en enestående greb:generative adversarial networks (GAN'er). I et papir offentliggjort den 6. maj, 2019 i Beregningsastrofysik og kosmologi , de diskuterer deres nye deep learning netværk, døbt CosmoGAN, og dens evne til at skabe high-fidelity, svage gravitationslinsekonvergenskort.

"Et konvergenskort er effektivt et 2D-kort over den gravitationslinser, som vi ser på himlen langs sigtelinjen, sagde Bard, en medforfatter på Beregningsastrofysik og kosmologi papir. "Hvis du har en top i et konvergenskort, der svarer til en top i en stor mængde stof langs sigtelinjen, det betyder, at der er en enorm mængde mørkt stof i den retning."

Fordelene ved GAN'er

Hvorfor vælge GAN'er i stedet for andre typer generative modeller? Ydeevne og præcision, ifølge Mustafa.

"Fra et dybt læringsperspektiv, der er andre måder at lære at generere konvergenskort fra billeder, men da vi startede dette projekt syntes GAN'er at producere billeder i meget høj opløsning sammenlignet med konkurrerende metoder, mens den stadig er beregningsmæssig og neural netværksstørrelseseffektiv, " han sagde.

"Vi ledte efter to ting:at være nøjagtige og at være hurtige, " tilføjede medforfatter Zaria Lukic, en forsker i Computational Cosmology Center ved Berkeley Lab. "GAN'er giver håb om at være næsten lige så nøjagtige sammenlignet med fulde fysiksimuleringer."

Forskerholdet er særligt interesseret i at konstruere en surrogatmodel, der ville reducere de beregningsmæssige omkostninger ved at køre disse simuleringer. I den Beregningsastrofysik og kosmologi papir, de skitserer en række fordele ved GAN'er i studiet af store fysiksimuleringer.

"GAN'er er kendt for at være meget ustabile under træning, især når du når til slutningen af ​​træningen, og billederne begynder at se pæne ud – det er når opdateringerne til netværket kan være virkelig kaotiske, " sagde Mustafa. "Men fordi vi har den sammenfattende statistik, som vi bruger i kosmologi, vi var i stand til at evaluere GAN'erne på hvert trin af træningen, hvilket hjalp os med at bestemme den generator, vi troede var den bedste. Denne procedure bruges normalt ikke til træning af GAN'er."

Ved at bruge CosmoGAN-generatornetværket, holdet har været i stand til at producere konvergenskort, der er beskrevet af - med høj statistisk sikkerhed - den samme opsummerende statistik som de fuldt simulerede kort. Dette meget høje niveau af overensstemmelse mellem konvergenskort, der statistisk ikke kan skelnes fra kort produceret af fysik-baserede generative modeller, giver et vigtigt skridt i retning af at bygge emulatorer ud af dybe neurale netværk.

"Den store fordel her var, at det problem, vi tacklede, var et fysikproblem, der havde tilknyttede målinger, " sagde Bard. "Men med vores tilgang, der er faktiske målinger, der giver dig mulighed for at kvantificere, hvor nøjagtig din GAN er. For mig er det det, der virkelig er spændende ved dette – hvordan den slags fysikproblemer kan påvirke maskinlæringsmetoder.

I sidste ende kunne sådanne tilgange transformere videnskab, der i øjeblikket er afhængig af detaljerede fysiksimuleringer, der kræver milliarder af regnetimer og optager petabytes diskplads - men der er stadig et stort arbejde at gøre. Kosmologiske data (og videnskabelige data generelt) kan kræve målinger i meget høj opløsning, såsom fuld-sky teleskop billeder.

"De 2D-billeder, der overvejes til dette projekt, er værdifulde, men de faktiske fysiksimuleringer er 3D og kan være tidsvarierende - og uregelmæssige, producere en rig, web-lignende struktur af funktioner, " sagde Wahid Bhmiji, en big data-arkitekt i Data and Analytics Services-gruppen på NERSC og en medforfatter på Beregningsastrofysik og kosmologi papir. "Ud over, tilgangen skal udvides til at udforske nye virtuelle universer snarere end dem, der allerede er blevet simuleret – i sidste ende bygge en kontrollerbar CosmoGAN."

"Idéen med at lave kontrollerbare GAN'er er i bund og grund den hellige gral af hele det problem, som vi arbejder på:for virkelig at kunne efterligne de fysiske simulatorer, skal vi bygge surrogatmodeller baseret på kontrollerbare GAN'er, Mustafa tilføjede. "Lige nu forsøger vi at forstå, hvordan vi stabiliserer træningsdynamikken, givet alle de fremskridt på området, der er sket i de sidste par år. At stabilisere træningen er ekstremt vigtigt for rent faktisk at kunne gøre det, vi gerne vil gøre næste gang."