Prognoser med ufuldkomne data og ufuldkommen model

"Forudsigelse er meget vanskelig, især hvis det handler om fremtiden, "Nobelpristageren Niels Bohr sagde engang.

Argonne -forsker Julie Bessac og hendes franske kollega Philippe Naveau er enige - og de har foretaget en undersøgelse for måske at lette vanskelighederne ved evaluering af vejrudsigter. Deres papir, med titlen "Prognoseevaluering med ufuldkomne observationer og ufuldkomne modeller, "fokuserer på nye kvalitetsvurderingsmetrikker, scoringsregler, at tage højde for fejl i observationer og prognoser.

Klassiske scoringsordninger involverer typisk at sammenligne forskellige prognoser med observationer. Men sådanne observationer har næsten altid fejl - pga. for eksempel, til dataoptagelsesproblemer eller instrumentmangler. Ja, en nylig undersøgelse viste, at den klassiske logaritmescore, der anvendes af sådanne ordninger, er misvisende ved valg af den bedste prognose, når der er observationsfejl, og at den sandsynlige fordeling af verifikationsdataene bør afhænge af modellering af underliggende fysiske processer, der ikke observeres.

Baseret på resultaterne fra denne undersøgelse, Bessac og Naveau har foreslået en ny scoringsmodel, der parrer prognoser og observationsfordelinger for at korrigere en score, når der er fejl i verifikationsdataene og i prognosen. De har også fremhævet behovet for at undersøge yderligere statistik end den gennemsnitlige score, der normalt bruges i praksis.

Teamet sammenlignede/formulerede deres nye tilgang med to populære modeller. Den første model hjælper med at forstå rollen og virkningen af ​​observationsfejl med hensyn til den ikke-observerede sande tilstand af atmosfæren X, men det inkorporerer ikke ideen om prognosefejl. I den anden model er både observationer Y og prognoser Z modelleret som versioner med fejl i atmosfærens tilstand X, som igen ikke observeres.

"At skelne mellem den uobserverede sandhed (skjulte processer) og de observerede (men forkerte) verifikationsdata er grundlæggende for at forstå virkningen af ​​ufuldkomne observationer på prognosemodellering, "sagde Bessac, som assisterende beregningsstatistiker i matematik- og datalogidivisionen i Argonne.

Den nye model giver flere fordele:(1) den foreslår en enkel ramme til at redegøre for fejl i verifikationsdataene og i prognosen; (2) det fremhæver vigtigheden af ​​at undersøge fordelingen af ​​scorer i stedet for at fokusere på middelværdien alene; og (3) det viser vigtigheden af ​​at tage højde for fejl i verifikationsdataene, der kan være vildledende.

Modellen blev testet i to tilfælde, hvor parametrene for de involverede fordelinger antages at være kendte. Selvom der var tale om idealiserede sager, forskerne understregede, at testresultaterne fremhæver vigtigheden af ​​at undersøge fordelingen af ​​score, når verifikationsdata anses for at være en tilfældig variabel.