Big Data-udforskning i Gaia-æraen

To astronomer fra University of Groningen (Holland) har udviklet et softwarebibliotek, der ubesværet kan generere visualiseringer baseret på hundredvis af millioner af datapunkter. Maarten Breddels og Jovan Veljanoski udviklede oprindeligt deres software til at håndtere den enorme mængde data fra Gaia-missionen. Imidlertid, softwaren kan også vise mønstre i andre store datafiler. Softwaren er open source og gratis at bruge. Forskerne forklarer ins og outs i en artikel, der er blevet accepteret til publicering i tidsskriftet Astronomi og astrofysik .

Breddels og Veljanoski kalder deres software Vaex, som står for "visualisering og udforskning af store tabeldatasæt." Den interaktive software kan generere visualiseringer af milliarder af datapunkter på kun et sekund. Det opfører sig på samme måde som Google Maps. Når du panorerer eller zoomer, et opdateret eller mere detaljeret kort vises næsten med det samme. Imidlertid, Google Maps kører hurtigt, kraftfulde servere, mens Vaex arbejder på en bærbar computer.

Styrken ved Vaex ligger i kombinationen af ​​flere smarte teknikker. Først, den bruger en smart algoritme, der maksimerer al tilgængelig computerkraft. Derefter, den læser kun de nødvendige data fra harddisken og sender dem direkte til computerens hovedhukommelse. Endelig, det er ekstremt hukommelseseffektivt, og arbejdshukommelsen gemmer ikke unødvendige kopier af dataene.

Breddels har vist Vaex live på flere konferencer. Som et eksempel, han brugte et datasæt bestående af 1 milliard poster relateret til Yellow Cab-taxierne i New York City. Han viser hvilke taxature der er de mest lukrative, og hvor taxaerne skal vente på en hvilken som helst del af dagen for at maksimere deres fortjeneste. Dette eksempel viser, hvordan Vaex kan være interessant og gavnlig til generelle anvendelser uden for astronomi.