Deep learning udvider undersøgelsen af ​​nuklear affaldssanering

Et forskningssamarbejde mellem Lawrence Berkeley National Laboratory (Berkeley Lab), Pacific Northwest National Laboratory (PNNL), Brown University, og NVIDIA har opnået exaflop -ydeevne på Summit -supercomputeren med en deep learning -applikation, der bruges til at modellere undergrundstrømning i undersøgelsen af ​​nuklear affaldssanering. Deres præstation, som vil blive præsenteret under workshoppen "Deep Learning on Supercomputers" på SC19, demonstrerer løftet om fysikinformerede generative adversariale netværk (GAN'er) til analyse af komplekse, store videnskabelige problemer.

"I videnskaben kender vi fysikkens love og observationsprincipper - masse, momentum, energi, etc., "sagde George Karniadakis, professor i anvendt matematik ved Brown og medforfatter på SC19-værkstedspapiret. "Konceptet med fysikinformerede GAN'er er at kode tidligere oplysninger fra fysikken til det neurale netværk. Dette giver dig mulighed for at gå langt ud over træningsdomænet, hvilket er meget vigtigt i applikationer, hvor betingelserne kan ændre sig. "

GAN'er er blevet anvendt til at modellere menneskelige ansigtsudseende med bemærkelsesværdig nøjagtighed, bemærkede Prabhat, en medforfatter på SC19-papiret, der leder Data- og Analytics Services-teamet på Berkeley Labs National Energy Research Scientific Computing Center. "I videnskab, Berkeley Lab har undersøgt anvendelsen af ​​vanilje GAN'er til at skabe syntetiske universer og partikelfysiske eksperimenter; en af ​​de åbne udfordringer hidtil har været at inkorporere fysiske begrænsninger i forudsigelserne, "sagde han." George og hans gruppe i Brown har været banebrydende for tilgangen til at inkorporere fysik i GAN'er og bruge dem til at syntetisere data - i dette tilfælde, underjordiske flowfelter. "

Til denne undersøgelse, forskerne fokuserede på Hanford -stedet, etableret i 1943 som en del af Manhattan-projektet for at producere plutonium til atomvåben og til sidst hjemsted for den første fuldskala plutoniumproduktionsreaktor i verden, otte andre atomreaktorer, og fem plutonium-forarbejdningskomplekser. Da produktionen af ​​plutonium sluttede i 1989, efterlod sig titusinder af millioner af radioaktivt og kemisk affald i store underjordiske tanke og mere end 100 kvadratkilometer forurenet grundvand som følge af bortskaffelse af anslået 450 milliarder gallons væsker til bortskaffelsessteder. Så i de sidste 30 år har det amerikanske energiministerium arbejdet sammen med Environmental Protection Agency og Washington State Department of Ecology for at rydde op i Hanford, som ligger på 580 kvadratkilometer (næsten 500, 000 acres) i det centrale Washington, hele dele af den støder op til Columbia River - den største flod i det nordvestlige Stillehav og en kritisk hovedvej for industri og dyreliv.

For at spore oprydningsindsatsen, arbejdere har stolet på at bore brønde på Hanford -stedet og placere sensorer i disse brønde for at indsamle data om geologiske egenskaber og grundvandsstrømning og observere udviklingen af ​​forurenende stoffer. Undergrundsmiljøer som Hanford -stedet er meget heterogene med varierende rummets egenskaber, forklarede Alex Tartakovsky, en beregningsmatematiker på PNNL og medforfatter på SC19-papiret. "Estimering af egenskaberne fra Hanford -stedet ud fra data ville kun kræve mere end en million målinger, og i praksis har vi måske tusind. Fysikkens love hjælper os med at kompensere for manglen på data. "

"Standardparameterestimeringsmetoden er at antage, at parametrene kan have mange forskellige former, og derefter skal du for hver form løse løse ligninger under overfladen, måske millioner af gange for at bestemme parametre, der passer bedst til observationerne, "Tilføjede Tartakovsky. Men for denne undersøgelse tog forskergruppen en anden tilgang:ved hjælp af et fysikinformeret GAN og højtydende computing til at estimere parametre og kvantificere usikkerhed i undergrunden.

Til dette tidlige valideringsarbejde, forskerne valgte at bruge syntetiske data - data genereret af en beregnet model baseret på ekspertviden om Hanford -stedet. Dette gjorde dem i stand til at oprette en virtuel repræsentation af stedet, som de derefter kunne manipulere efter behov baseret på de parametre, de var interesserede i at måle - primært hydraulisk ledningsevne og hydraulisk hoved, begge nøgler til modellering af kontaminanternes placering. Fremtidige undersøgelser vil inkorporere reelle sensordata og virkelige forhold.

"Det oprindelige formål med dette projekt var at estimere nøjagtigheden af ​​metoderne, så vi brugte syntetiske data i stedet for rigtige målinger, "Sagde Tartakovsky." Dette gjorde det muligt for os at estimere ydelsen af ​​de fysikinformerede GANS som en funktion af antallet af målinger. "

Under uddannelse af GAN på topmødet supercomputer på Oak Ridge Leadership Computing Facility OLCF, teamet var i stand til at opnå 1,2 exaflop peak og vedvarende ydeevne-det første eksempel på en storstilet GAN-arkitektur anvendt på SPDE'er. Det geografiske omfang, rumlig heterogenitet, og flere korrelationslængder på Hanford -stedet krævede uddannelse af GAN -modellen til tusinder af dimensioner, så teamet udviklede en stærkt optimeret implementering, der skalerede til 27, 504 NVIDIA V100 Tensor Core GPU'er og 4, 584 noder på Summit med en skaleringseffektivitet på 93,1%.

"At opnå en så stor skala og ydeevne krævede fuld stakoptimering og flere strategier for at udtrække maksimal parallelisme, "sagde Mike Houston, der leder AI Systems -teamet hos NVIDIA. "På chip -niveau, vi optimerede strukturen og designet af det neurale netværk for at maksimere Tensor Core -udnyttelse via cuDNN -understøttelse i TensorFlow. På node -niveau, vi brugte NCCL og NVLink til højhastigheds dataudveksling. Og på systemniveau, vi optimerede Horovod og MPI ikke kun til at kombinere data og modeller, men til at håndtere modstridende parallelle strategier. For at maksimere udnyttelsen af ​​vores GPU'er, vi var nødt til at skærpe dataene og derefter distribuere dem for at stemme overens med paralleliseringsteknikken. "

"Dette er et nyt højvandsmærke for GAN-arkitekturer, "Sagde Prabhat." Vi ville skabe en billig surrogat til en meget dyr simulering, og det, vi kunne vise her, er, at en fysikbegrænset GAN-arkitektur kan producere rumfelter, der er i overensstemmelse med vores viden om fysik. Ud over, dette eksemplariske projekt samlede eksperter fra modellering under jorden, anvendt matematik, dyb læring, og HPC. Da DOE overvejer bredere anvendelser af dyb læring - og, i særdeleshed, GAN'er - til simuleringsproblemer, Jeg forventer, at flere forskerhold bliver inspireret af disse resultater. "

Papiret, "Meget skalerbar, Fysikinformerede GAN'er til læringsløsninger af stokastiske PDE'er, "vil blive præsenteret på SC19 Deep Learning on Supercomputers workshop. I