Opgradering af TACC Ranch-teknologi forbedrer værdifuld datalagring

Der er en vittighed af komiker Steven Wright, der lyder, "Du kan ikke få alt. Hvor vil du placere det?"

Brugere af avanceret databehandling kan sandsynligvis relatere til dette. Den eksponentielle vækst af data udgør en stejl udfordring for bestræbelserne på dets pålidelige lagring. I mere end 12 år, Ranch-systemet ved Texas Advanced Computing Center (TACC) har leveret langsigtet arkivering af forskningsdata lige fra astrofysik til klimavidenskab til partikelfysik, og mere. En ny opgradering til hardware og software bringer gode nyheder til over 52, 000 brugere af TACC's Ranch langsigtede massedatalagringssystem.

Arkiverne er værdifulde for forskere, der ønsker at bruge dataene til at hjælpe med at reproducere målinger og resultater fra tidligere forskning. Beregningsreproducerbarhed er en del af det større begreb om videnskabelig reproducerbarhed, som udgør en hjørnesten i den videnskabelige metode.

TACC stræber efter at understøtte videnskabsfolks databehov. De lokale computersystemer såsom Stampede2 og Lonestar giver en højhastigheds-skrabeplads dedikeret til midlertidig lagring af data. Næste op ad stigen er de frontvendte dataindsamlingssystemer fra Stockyard og Corral, som giver en kombineret lagring på 50 petabyte, der er direkte tilgængelig via højhastigheds-webforbindelser eller iRODS-datanettet. Ranch, på den anden side, tillader langsigtet arkivering af data i måneder til år.

Fra april 2019, Ranch gemmer over 70 petabyte, eller 70 millioner gigabyte videnskabelige data. Over 52, 000 brugere har uploadet tæt på 1,7 milliarder computerfiler på det gamle bibliotek i Ranch, der er ved at blive opgraderet. Hypotetisk set, de nye opgraderinger til Ranch kan udvide sin lagerplads til at nå en forbløffende exabyte, eller 1, 000 petabyte.

"For brugere, flere data vil være lettere tilgængelige, med 15 gange mere diskcache end hvad vi havde på det tidligere Ranch-system, " sagde Tommy Minyard, direktør for Advanced Computing Systems hos TACC. Friske data, der er genereret fra TACC-supercomputere såsom Stampede2, Lone Star, eller Maverick iscenesættes først på Ranchs roterende disk og flashdrev, så senere flyttet til bånd.

Ranch er blevet opgraderet med et bloklagersystem leveret af DataDirect Networks, DDN SFA14K DCR, som giver 30 petabyte roterende diskcache, mod kun to på den udskiftede hardware. "Det betyder, at vi vil være i stand til at holde mange flere data iscenesat på diske, så det er hurtigere at hente, og du ikke behøver at genkalde det fra bånd, " tilføjede Minyard.

En anden velkommen ændring til Ranch kommer fra virksomheden Quantum, som forsynede et Scalar i6000-båndbibliotek med Quantum StorNext-arkivfilsystemet, der koordinerer både disk- og båndlagring. "Vi valgte Quantum-systemet baseret på dets kapacitet og fleksibilitet, " sagde Junseong Heo, senior systemadministrator og leder, Large Scale Systems af TACC's Advanced Computing Systems-gruppe.

"Specielt, Quantum leverer en kvotekontrolmekanisme, der gør det muligt for TACC at levere et allokeringsbaseret projektområde til brugere, " tilføjede Heo. Det betyder, at brugerne kan få meget nemmere adgang til data og overvåge brugen af ​​ressourcer. "Den projektbaserede kvote har tidligere stået øverst på ønskelisten fra brugere, " sagde Heo.

"TACC's fokus på konstant innovation skaber et miljø, der lægger enorm stress på opbevaring, og Quantum har længe været på forkant med at administrere løsninger, der opfylder den mest ekstreme pålidelighed, tilgængelighed og massive skalerbarhedskrav, " sagde "Eric Bassier, Senior direktør for produktmarkedsføring, Kvante. "Ved at kombinere Scalar tape med StorNexts datastyringsfunktioner skabes en HSM-løsning (Hierarchical Storage Management), der er i stand til at levere under de krævende forhold i TACC-miljøet."

"Det nye system giver nogle ekstra muligheder for, at vi kan håndtere projektdata og lagerlag bedre end det gamle system gjorde, Minyard tilføjede. Dette er især gode nyheder for tunge Ranch-brugere, hvis tildeling kan ændre sig ofte. De tungeste 100 brugere tilsammen har mere end 20 petabyte på det nuværende arkivsystem.

En af de store ændringer, brugerne vil bemærke, er vedtagelsen af ​​Community Enterprise Operating System-miljøet (CentOS), som erstattede det tidligere Solaris-miljø. Mens brugere navigerer i CentOS for at migrere deres filer til de nye Ranch-biblioteker, TACC giver 12 måneders skrivebeskyttet adgang til data i det gamle bibliotek indtil udgangen af ​​31. marts, 2020. Brugere bør inspicere og migrere data i gunstige størrelser til båndarkiverne, helst større end 100 gigabyte i individuel filstørrelse.

"Arkivdata er ikke glamourøse, men det er påkrævet, " sagde Minyard. "Jeg ved ikke, hvor mange gange vi har haft nogen i panik over ved et uheld at slette en fil, hvor TACC var i stand til at tilbagekalde filen for dem fra Ranch. Fra deres synspunkt, Ranch er en livredder, " sagde Minyard.