Statistisk teknik til automatisk at rense fejlagtige data fra vejrballonobservationer

To gange om dagen, vejrballoner slippes ud i atmosfæren fra 700 steder rundt om i verden for at observere forholdene i den øvre atmosfære. Siden 1920'erne, der har været titusinder af disse radiosonde-lanceringer, producerer et enormt arkiv af data, der er afgørende for vejrudsigter og klimamodellering. I så stort et datasæt, uundgåelige fejl kan i væsentlig grad påvirke modelleringsresultater.

Ying Sun, Saudi-Arabiens King Abdullah University of Science and Technology (KAUST) assisterende professor i anvendt matematik og beregningsvidenskab, samarbejdet med forskere fra Colorado School of Mines og Baylor University, OS, at udvikle en metode til at fjerne disse fejl ved hjælp af en robust statistisk analyse af dataene.

"En radiosonde er en lille, forbrugsbar instrumentpakke, der er ophængt under en to meter bred ballon fyldt med brint eller helium, " forklarede Sun. "Sensorer på radiosonden måler højden, tryk, temperatur og dugpunkt; de beregner også vindhastighed og retning ved at spore radiosondens position under flyvning. Radiosonde-observationer er de eneste direkte målinger af Jordens øvre atmosfære, gør dem vitale for satellitdata, vejrudsigt og klimatologisk forskning.

Dataens mange fejl er "alt for mange til at rette i hånden, så vi har brug for en automatisk metode til at identificere sådanne tilfældige fejl, " forklarede Sun.

Der er automatiske metoder til at fjerne systematiske fejl fra dataene, såsom ændringer i placering eller måleenheder. Imidlertid, der har ikke været nogen måde at fjerne ægte fejlagtige data, herunder dataindtastningsfejl, transmissionsfejl eller upræcis sporing af ballonen uden også at slette ekstreme, men reelle målinger - som er nogle af de vigtigste data til prognoser. Ser man specifikt på vinddata, Sun og hendes medarbejdere udviklede en statistisk tilgang, der opnår robust differentiering mellem ekstreme værdier og tilfældige fejl.

"Vores tilgang overvejer en mere realistisk fordeling af vindvektoren, der er skæv med en lang hale af sjældne ekstreme værdier, " sagde Sun. "Dette gør det muligt at markere observationer, der med stor sandsynlighed er fejl, som potentielle outliers uden at fjerne ekstreme værdier."

Ud over dets anvendelse på nye daglige data, dette fejldetektionsskema kan også bruges på de enorme mængder af radiosonde-observationer, der opbevares i arkiver rundt om i verden.

"Vi er ved at udvikle en outlier-detektionsmetode, der er hurtig og automatisk. Vi vil være i stand til at bruge denne metode til hurtigt at behandle de millioner af poster i arkivet, " sagde Sun. "Vi overvejer også den mulige effekt af klimaændringer, når vi udvikler den nye metode."