Med ADIOS, Summit behandler himmeldata i omfanget af et massivt fremtidigt teleskop

I næsten tre årtier, videnskabsmænd og ingeniører over hele kloden har arbejdet på Square Kilometer Array (SKA), et projekt med fokus på at designe og bygge verdens største radioteleskop. Selvom SKA vil indsamle enorme mængder af præcise astronomiske data på rekordtid, videnskabelige gennembrud vil kun være mulige med systemer, der er i stand til effektivt at behandle disse data.

Fordi byggeriet af SKA ikke er planlagt til at begynde før 2021, forskere kan ikke indsamle nok observationsdata til at øve sig i at analysere de enorme mængder, eksperter forventer, at teleskopet vil producere. I stedet, et hold fra International Center for Radio Astronomy Research (ICRAR) i Australien, Department of Energy's (DOE's) Oak Ridge National Laboratory (ORNL) i USA, og Shanghai Astronomical Observatory (SHAO) i Kina brugte for nylig Summit, verdens mest kraftfulde supercomputer, at simulere SKA's forventede output. Summit er placeret på Oak Ridge Leadership Computing Facility, en DOE Office of Science User Facility på ORNL.

"Summit-supercomputeren gav en unik mulighed for at teste et simpelt SKA-dataflow i den skala, vi forventer fra teleskoparrayet, " sagde Andreas Wicenec, direktør for Data Intensiv Astronomy hos ICRAR.

For at behandle de simulerede data, holdet stolede på det ORNL-udviklede Adaptable IO System (ADIOS), en open source input/output (I/O) ramme ledet af ORNLs Scott Klasky, som også leder laboratoriets videnskabelige datagruppe. ADIOS er designet til at fremskynde simuleringer ved at øge effektiviteten af ​​I/O-operationer og for at lette dataoverførsler mellem højtydende computersystemer og andre faciliteter, som ellers ville være en kompleks og tidskrævende opgave.

SKA-simuleringen på Summit markerer første gang, at radioastronomidata er blevet behandlet i så stor skala og beviser, at forskerne har ekspertisen, softwareværktøjer, og computerressourcer, der vil være nødvendige for at behandle og forstå reelle data fra SKA.

"Den videnskabelige datagruppe er dedikeret til at forske i næste generations teknologi, der kan udvikles og implementeres til de mest videnskabeligt krævende applikationer på verdens hurtigste computere, " sagde Klasky. "Jeg er stolt af alt det hårde arbejde ADIOS-teamet og SKA-forskerne har udført med ICRAR, ORNL, og SHAO."

Brug af to typer radiomodtagere, teleskopet vil opdage radiolysbølger, der kommer fra galakser, omgivelserne af sorte huller, og andre objekter af interesse i det ydre rum for at hjælpe astronomer med at besvare grundlæggende spørgsmål om universet. At studere disse svage, undvigende bølger kræver en hær af antenner.

Den første fase af SKA vil have mere end 130, 000 lavfrekvent, kegleformede antenner placeret i det vestlige Australien og omkring 200 højere frekvenser, parabolformede antenner placeret i Sydafrika. Det internationale projekthold vil i sidste ende administrere tæt på en million antenner til at udføre hidtil usete undersøgelser af astronomiske fænomener.

For at efterligne den vestlige australske del af SKA, forskerne kørte to modeller på Summit – en af ​​antennerrayet og en fra det tidlige univers – gennem en softwaresimulator designet af forskere fra University of Oxford, der efterligner SKA's dataindsamling. Simuleringerne genererede 2,6 petabyte data med 247 gigabyte i sekundet.

"At generere en så stor mængde data med antenne array-simulatoren kræver en masse strøm og tusindvis af grafikbehandlingsenheder for at fungere korrekt, " sagde ORNL softwareingeniør Ruonan Wang. "Summit er sandsynligvis den eneste computer i verden, der kan gøre dette."

Selvom simulatoren typisk kører på en enkelt computer, holdet brugte et specialiseret workflow-styringsværktøj Wang hjalp ICRAR med at udvikle kaldet Data Activated Flow Graph Engine (DALiuGE) for effektivt at skalere modelleringskapaciteten op til 4, 560 beregningsknuder på Summit. DALiuGE har indbygget fejltolerance, sikre, at mindre fejl ikke hæmmer arbejdsgangen.

"Problemet med traditionelle ressourcer er, at ét problem kan få hele jobbet til at falde fra hinanden, " sagde Wang. Wang tog sin doktorgrad ved University of Western Australia, som administrerer ICRAR sammen med Curtin University.

Den intense tilstrømning af data fra array-simuleringerne resulterede i en præstationsflaskehals, som holdet løste ved at reducere, forarbejdning, og lagring af data ved hjælp af ADIOS. Forskere sætter normalt ADIOS direkte ind i I/O-undersystemet for en given applikation, men simulatorens usædvanligt komplicerede software betød, at holdet skulle tilpasse et plug-in-modul for at gøre de to ressourcer kompatible.

"Dette var langt mere komplekst end en normal applikation, " sagde Wang.

Wang begyndte at arbejde på ADIOS1, den første iteration af værktøjet, 6 år siden under sin tid hos ICRAR. Nu, han fungerer som en af ​​hovedudviklerne af den seneste version, ADIOS2. Hans team sigter mod at positionere ADIOS som en overlegen lagerressource for den næste generation af astronomidata og standard I/O-løsningen til fremtidige teleskoper ud over selv SKA's gigantiske rækkevidde.

"Jo hurtigere vi kan behandle data, jo bedre kan vi forstå universet, " han sagde.