Håndtering af billioner af supercomputer -filer blev bare enklere

Et nyt distribueret filsystem til højtydende databehandling tilgængeligt i dag via softwaresamarbejdssiden GitHub giver en hidtil uset ydeevne til at skabe, opdatering og håndtering af ekstreme antal filer.

"Vi designede DeltaFS til at muliggøre oprettelsen af ​​billioner af filer, " sagde Brad Settlemyer, en Los Alamos datalog og projektleder. Los Alamos National Laboratory og Carnegie Mellon University udviklede i fællesskab DeltaFS. "Sådan et værktøj hjælper forskere med at løse klassiske problemer inden for højtydende databehandling, såsom partikelbanesporing eller vortexdetektion."

DeltaFS bygger et filsystem, der fremstår for brugeren ligesom ethvert andet filsystem, kræver ikke specialiseret hardware, og er nøjagtigt skræddersyet til at hjælpe videnskabsmanden med nye opdagelser, når de bruger en højtydende computerplatform.

"En af de største udfordringer, og primære mål for DeltaFS, skalerede på tværs af tusinder af servere uden at kræve, at en del af dem var dedikeret til filsystemet, " sagde George Amvrosiadis, assisterende forskningsprofessor ved Carnegie Mellon University og medforfatter på projektet. "Dette frigør administratorer fra at skulle beslutte, hvordan de skal allokere ressourcer til filsystemet, som bliver en nødvendighed, når exascale-maskiner bliver en realitet."

Filsystemet medfører to vigtige ændringer i højtydende databehandling. Først, DeltaFS muliggør nye strategier til at designe selve supercomputerne, dramatisk ændring af omkostningerne ved at oprette og administrere filer. Ud over, DeltaFS forbedrer radikalt ydeevnen af ​​meget selektive forespørgsler, dramatisk reducerer tiden til videnskabelig opdagelse.

DeltaFS er en forbigående, softwaredefineret tjeneste, der gør det muligt at få adgang til data fra en håndfuld op til hundredtusindvis af computere baseret på brugerens ydeevnekrav.

"De lagringsteknikker, der bruges i DeltaFS, er anvendelige i mange videnskabelige domæner, men vi mener, at vi ved at afhjælpe metadataflaskehalsen virkelig har vist en måde at designe og anskaffe meget mere effektive HPC-lagringssystemer på, " sagde Settlemyer.