Spørgsmål og svar:Fysiske forskere henvender sig til dyb læring for at forbedre modellering af jordsystemer

Deep learnings rolle i videnskaben er ved et vendepunkt, med vejret, klima, og jordsystemmodellering, der dukker op som et spændende anvendelsesområde for fysik-informeret dyb læring, der mere effektivt kan identificere ikke-lineære relationer i store datasæt, udtrække mønstre, efterligne komplekse fysiske processer, og opbygge prædiktive modeller.

"Dyb læring har haft hidtil uset succes i nogle meget udfordrende problemer, men forskere ønsker at forstå præcis, hvordan disse modeller fungerer, og hvorfor de gør de ting, de gør, " sagde Karthik Kashinath, en datalog og ingeniør i Data &Analytics Services Group (DAS) ved National Energy Research Scientific Computing Center (NERSC), som har været dybt involveret i NERSCs forsknings- og uddannelsesindsats på dette område. "Et centralt mål for deep learning for videnskab er, hvordan man designer og træner et neuralt netværk, så det nøjagtigt kan fange kompleksiteten af ​​de processer, det søger at modellere, efterligne, eller forudsige, og vi udvikler måder at tilføre fysik og domæneviden til disse neurale netværk, så de adlyder naturens love, og deres resultater kan forklares, robust, og troværdig."

Vi fangede Kashinath efter Artificial Intelligence for Earth System Science (AI4ESS) Summer School, en ugelang virtuel begivenhed afholdt i juni af National Center for Atmospheric Research (NCAR) og University Corporation for Atmospheric Research (UCAR), som blev overværet af mere end 2, 400 forskere fra hele verden. Kashinath var involveret i at organisere og præsentere arrangementet, sammen med David John Gagne og Rich Loft fra NCAR. Meget af Kashinaths nuværende forskning fokuserer på anvendelsen af ​​dyb læringsmetoder til modellering af klima- og jordsystemer.

Hvordan bliver deep learning-metoder vedtaget i vejret, klima, og jordsystemforskning?

I de seneste år har vi set en markant stigning i brugen af ​​deep learning i naturvidenskab, ikke kun i at forstærke, forbedre eller erstatte eksisterende metoder, men også for at opdage ny videnskab inden for fysik, kemi, biologi, medicin, og mere – opdagelser, der var næsten umulige med traditionelle statistiske metoder. Vi begynder nu at se det samme i geovidenskaberne, med antallet af publikationer i tidsskrifter som f.eks Geofysiske forskningsbreve og Natur Geovidenskab stigende og videnskabelige konferencer, der nu byder på hele spor, der involverer maskine og dyb læring.

Hvad bringer dyb læring til bordet?

Det er ekstremt kraftfuldt til mønstergenkendelse og opdager meget komplekse ikke-lineære relationer, der findes i store datasæt, som begge er afgørende for udvikling af modeller af jordvidenskabelige systemer. Hovedmålet for en vejr- eller klimamodeller er at forstå, hvordan processer i naturen fungerer, og at modellere dem på en effektiv måde, så vi kan forudsige fremtiden for klimaændringer og ekstreme vejrbegivenheder. Deep learning tilbyder nye metoder til at bruge eksisterende data til at forstå, hvordan disse processer fungerer og til at udvikle modeller for dem, der ikke kun er nøjagtige og effektive, men også beregningsmæssigt meget hurtigere end traditionelle metoder. Traditionelt, klima- og vejrmodeller løser store systemer af koblede ikke-lineære partielle differentialligninger, hvilket er ekstremt beregningsintensivt. Dyb læring begynder at vokse, forbedre, eller endda erstatte dele af disse modeller med meget effektive og hurtige fysiske procesemulatorer. Og det er et væsentligt skridt fremad.

Mønstergenkendelse er et andet område, hvor dyb læring påvirker jordens systemforskning. DAS-gruppen på NERSC har presset hårdt på mønstergenkendelse til at detektere og spore vejr- og klimamønstre i store datasæt. Gordon Bell-prisen 2018 for exascale klimaanalyse ved hjælp af dyb læring vidner om vores bidrag på det område. I betragtning af at vi allerede har petabytes af klimadata, og at det stiger i en vanvittig hastighed, det er fysisk umuligt at gennemskue og genkende nøgletræk og mønstre ved hjælp af traditionelle statistiske tilgange. Deep learning tilbyder meget hurtige måder at udvinde disse data og udtrække nyttig information såsom ekstreme vejrmønstre.

Et tredje område er nedskalering; det er, givet et datasæt i lav opløsning, hvordan producerer du data i meget høj opløsning, som er nødvendige for ting som planlægning, især på regional og lokal skala? En del af klimavidenskabens store udfordring er, hvordan man bygger modeller i meget høj opløsning, der er nøjagtige og producerer data, som vi pålideligt kan arbejde med. En måde at angribe problemet på er at sige okay, vi ved, at disse modeller er ekstremt dyre, og i en overskuelig fremtid – selv med computergetter hurtigere og bedre – vil vi virkelig ikke være i stand til at bygge pålidelige globale klimamodeller med en rumlig opløsning på 1 km eller finere. Så hvis vi kan skabe en dyb læringsmodel, der tager klimadata i lav opløsning og producerer højopløselige data, der er fysisk meningsfulde, pålidelig, og præcis – det er en game changer.

Hvad er en stor udfordring for dyb læring anvendt til jordsystemvidenskab?

Jeg kommer fra en baggrund i væskedynamik, hvor modelleringsturbulens er en langvarig stor udfordring. En lignende udfordring i atmosfærisk videnskab er modellering af skyer. Alle klimamodeller har parametriseringer – komponenter i klimamodellen, der beskriver, hvordan forskellige fysiske processer opfører sig og interagerer med hinanden. I atmosfæren, der inkluderer, hvordan skyer dannes, hvordan stråling virker, hvornår og hvor nedbøren sker, osv. Skymodellering er også kendt for at være den største kilde til usikkerhed i klimamodelfremskrivninger, og i årtier har en af ​​de store udfordringer været, hvordan man kan mindske usikkerheden. Modeller er blevet meget mere komplekse og fanger mange flere fysiske fænomener, men de har stadig store usikkerheder i deres forudsigelser. Så et område, hvor dyb læring kan have en betydelig indvirkning, er at hjælpe os med at bygge bedre emulatorer af atmosfæriske processer som skyer, med det mål at reducere usikkerheden i forudsigelser. Det er et meget konkret videnskabeligt mål.

Mens du ser fremad, hvad er du mest begejstret for med hensyn til indvirkningen af ​​dyb læring på klima- og jordsystemforskning?

Det største tilbageslag, vi har haft fra det videnskabelige samfund, er, at neurale netværk er sorte bokse, som er svære at forstå og fortolke, og videnskabsmænd vil naturligvis gerne forstå præcis, hvordan disse neurale netværk fungerer, og hvorfor de gør de ting, de gør. Så en ting, jeg er virkelig begejstret for, er at udvikle bedre måder at fortolke og forstå disse netværk på og inkorporere den viden, vi har om jordens fysik, i disse modeller, så de er mere robuste, pålidelig, troværdig, fortolkelig, forklarlig, og gennemsigtig. Målet er at overbevise os selv om, at disse modeller opfører sig på måder, der respekterer naturens fysik, effektivt bruger den domæneviden, vi har, og laver forudsigelser, som vi kan stole på. Jeg blev inviteret til at indsende et papir til Proceedings of the Royal Society om netop dette emne, "Fysik-informeret dyb læring til vejr- og klimamodellering, ", som nu er under revision.

Jeg er også spændt på at bevise, i Operation, at disse deep learning-modeller giver den beregningshastighed, som vi hævder, at de vil give, når vi integrerer dem i en stor klima- eller vejrmodel. For eksempel, European Weather Forecasting Center er begyndt at erstatte nogle dele af sin vejrudsigtsmodel med maskin- og deep learning-modeller, og de begynder allerede at se fordele. I USA, NCAR og National Oceanic and Atmospheric Administration begynder også at erstatte dele af deres klima- og vejrmodeller med maskinlærings- og deep learning-modeller, og en række akademiske og industribaserede forskningsgrupper arbejder på relaterede projekter. Chris Bretherton, en af ​​verdens førende klimaforskere, leder en gruppe ved University of Washington, der arbejder på at erstatte nogle af de komplicerede cloud-processer i disse store klimamodeller med deep learning-metoder. Så jeg ser frem til at se deres resultater om et år eller to på speedup og ydeevne.

Hvad var fokus for AI4ESS-begivenheden, og hvorfor var det så velbesøgt?

The Artificial Intelligence for Earth System Science (AI4ESS) Summer School fokuserede på, hvordan deltagere kan styrke deres baggrund inden for statistik og maskinlæring, lære det grundlæggende i dyb læring og neurale netværk, og lær hvordan du bruger disse til udfordrende problemer i jordsystemvidenskaberne. Vi havde en overvældende respons på skolen – det skulle være et personligt arrangement i Boulder, Colo., med en kapacitet på 80 elever. Men når det først blev virtuelt, vi havde 2, 400 deltagere fra 40 lande over hele kloden. Det blev live-streamet gennem UCAR, og de sporede de daglige log-ins.

Der var stor deltagelse hele ugen. Vi havde inviteret foredragsholdere hver dag – tre foredrag om dagen, så 15 foredrag i løbet af ugen – med eksperter fra machine learning, dyb læring, og geovidenskaberne. Hver dag var der også en paneldiskussion i 30 minutter over frokost, og for mig, disse var super spændende, fordi alle disse eksperter diskuterede og diskuterede udfordringerne og mulighederne ved at bruge maskinlæring og dyb læring til jordsystemvidenskab. Skolen afholdt også et ugelangt hackathon, hvor hold på seks hver valgte et projekt fra seks forskellige problemer at arbejde med i ugen. Omkring 500 mennesker deltog i hackathonet, med meget samarbejde og interaktion, inklusive individuelle Slack-kanaler for hvert af hackathon-holdene. Der var også Slack-kanaler for hele sommerskolens uge om forskellige ting:forelæsningsrelaterede spørgsmål og svar, hackathon udfordring problemer, tekniske tips og tricks inden for maskinlæring og deep learning, osv. Så der var en masse Slack aktivitet i gang, med folk, der udveksler ideer, deling af resultater, og så videre.

Hvorfor er alle så opsatte på at lære det her?

Jeg tror, ​​samfundet især de yngre videnskabsmænd, se, at deep learning kan være en game changer inden for videnskab, og de ønsker ikke at blive efterladt. De tror, ​​at det snart vil være mainstream, og at det vil være afgørende for at udføre videnskab. Det er hovedmotivatoren. Så AI4ESS fokuserede på at undervise i det grundlæggende og lægge grunden til, at de kan begynde at anvende maskinel og dyb læring med succes til deres forskning.