Ved vurdering af klimamodeller, eksperter evaluerer typisk på tværs af en række kriterier for at nå frem til en samlet vurdering af modellens pålidelighed. De bruger deres viden om det fysiske system og videnskabelige mål til at vurdere den relative betydning af forskellige aspekter af modeller i nærvær af afvejninger. Burrows et al. (2018) viser, at klimaforskere justerer den betydning, de tillægger forskellige aspekter af en simulering, afhængigt af det videnskabelige spørgsmål, modellen vil blive brugt til at løse. Deres forskning viser også, at ekspertens konsensus om vigtighed er forskellig på tværs af modelvariabler. Kredit: Fremskridt inden for atmosfæriske videnskaber
Et forskerhold baseret på Pacific Northwest National Laboratory i Richland, Washington, har offentliggjort resultaterne af en international undersøgelse designet til at vurdere den relative betydning, klimaforskere tillægger variabler, når de analyserer en klimamodels evne til at simulere klima i den virkelige verden. Resultaterne, som har alvorlige konsekvenser for undersøgelser, der anvender modellerne, blev udgivet som forsideartikel i Fremskridt inden for atmosfæriske videnskaber den 22. juni, 2018.
"Klimamodelbyggere bruger mange kræfter på at kalibrere visse modelparametre for at finde en modelversion, der gør et troværdigt stykke arbejde med at simulere Jordens observerede klima, " sagde Susannah Burrows, første forfatter på papiret og en videnskabsmand ved Pacific Northwest National Laboratory, der har specialiseret sig i jordsystemanalyse og -modellering.
Imidlertid, Burrows bemærkede, der er lidt systematisk undersøgelse af, hvordan eksperter prioriterer sådanne variabler som skydække eller havis, når man vurderer præstationer af klimamodeller.
"Forskellige mennesker kan komme til lidt forskellige vurderinger af, hvor 'god' en bestemt model er, i høj grad afhængigt af, hvilke aspekter de tillægger størst betydning, " sagde Burrows.
En model, for eksempel, kan bedre simulere havisen, mens en anden model udmærker sig i skysimulering. Hver forsker skal finde en balance mellem deres konkurrerende prioriteter og mål - en vanskelig ting at fange systematisk i dataanalyseværktøjer.
"Med andre ord, der er ikke en eneste, fuldstændig objektiv definition af, hvad der gør en 'god' klimamodel, og denne kendsgerning er en hindring for at udvikle mere systematiske tilgange og værktøjer til at hjælpe med modelevalueringer og sammenligninger, " sagde Burrows.
Forskerne fandt, fra en undersøgelse af 96 deltagere, der repræsenterer klimamodelleringssamfundet, at eksperter tog specifikke videnskabelige mål i betragtning, når de vurderede variabel betydning. De fandt en høj grad af konsensus om, at visse variabler er vigtige i visse undersøgelser, såsom nedbør og fordampning i vurderingen af Amazonas vandkredsløb. Den enighed vakler på andre variabler, såsom hvor vigtigt det er nøjagtigt at simulere overfladevind, når man studerer vandkredsløbet i Asien.
Det er vigtigt at forstå disse uoverensstemmelser og udvikle mere systematiske tilgange til modelvurdering, ifølge Burrows, da hver ny version af en klimamodel skal gennemgå en betydelig evaluering, og kalibrering af flere udviklere og brugere. Den arbejdskrævende proces kan tage mere end et år.
Tuning, mens designet til at opretholde en streng standard, kræver, at eksperter foretager afvejninger mellem konkurrerende prioriteter. En model kan kalibreres på bekostning af et videnskabeligt mål for at nå et andet.
Burrows er medlem af et tværfagligt forskerhold på PNNL, der arbejder på at udvikle en mere systematisk løsning på dette vurderingsproblem. Holdet inkluderer Aritra Dasgupta, Lisa Bramer, og Sarah Reehl, eksperter i datavidenskab og visualisering, og Yun Qian, Po-Lun Ma, og Phil Rasch, eksperter i klimavidenskab.
For at hjælpe klimamodeller med at forstå disse afvejninger mere klart og effektivt, visualiseringsforskerne bygger interaktive, intuitive visuelle grænseflader, der gør det muligt for modelbyggere at opsummere og udforske kompleks information om forskellige aspekter af modellens ydeevne.
Dataforskerne arbejder på at karakterisere ekspertvurdering af klimamodeller mere detaljeret, bygger på resultaterne fra den indledende undersøgelse. Til sidst, forskerne sigter mod at blande en kombination af målinger med menneskelig ekspertise for at vurdere, hvor velegnede klimamodeller er til specifikke videnskabelige mål, samt at forudsige, hvor ofte eksperter vil være enige eller uenige i den vurdering.
"[Vi planlægger] at kombinere det bedste fra begge verdener, bruge computere til at reducere manuel indsats og give videnskabsfolk mulighed for mere effektivt at anvende deres menneskelige indsigt og dømmekraft, hvor det er mest nødvendigt, " sagde Burrows.