Rekordoverførsel af 1 petabyte data

Ved hjælp af en 5, 000-mile netværkssløjfe drevet af ESnet, forskere ved Department of Energy's SLAC National Accelerator Laboratory (SLAC) og Zettar Inc. har for nylig overført 1 petabyte på 29 timer, med kryptering og kontrolsum, slog sidste års rekord med 5 timer, en forbedring på næsten 15 procent.

Projektet er rettet mod at opnå de høje dataoverførselshastigheder, der er nødvendige for at rumme mængden af ​​data, der skal genereres af Linac Coherent Light Source II (LCLS II), som forventes at komme online i 2020. LCLS er verdens første hårde røntgenfri-elektronlaser (XFEL) og dens stroboskop-lignende pulser er blot et par milliontedele af en milliardtedel af en sekund lange, og en milliard gange lysere end tidligere røntgenkilder. LCLS II vil give et stort spring i kapacitet – at bevæge sig fra 120 pulser i sekundet til 1 million pulser i sekundet. Forskere bruger LCLS til at tage skarpe billeder af atomare bevægelser, se kemiske reaktioner udfolde sig, undersøge materialers egenskaber og udforske grundlæggende processer i levende ting.

Den øgede kapacitet forventes at generere dataoverførsler på flere terabit pr. sekund – da de eksperimentelle resultater sendes fra SLAC til Department of Energy's (DOE) supercomputing faciliteter på Lawrence Berkeley og Oak Ridge nationale laboratorier til analyse. Som DOE's dedikerede netværksbrugerfacilitet til videnskabelig forskning, ESnet transporterer data mellem universiteter og DOE's nationale laboratorier og nationale brugerfaciliteter langs et multi-100 gigabits-per-sekund (Gbps) backbone-netværk.

Ifølge Stanford Emeritus Les Cottrell, den nuværende demonstration af højhastighedsdatatransport er en del af et program til udvikling og evaluering af værktøjer til at imødekomme det kommende årtis kritiske dataoverførselskrav til næste generations XFEL'er hos SLAC.

Zettar, et National Science Foundation-finansieret softwarefirma i Palo Alto, udvikler hyperskala datadistributionssoftwareløsning, der er i stand til multi-100+Gbps overførselshastigheder og samarbejder med ESnet og DOE nationale laboratorier. Til retssagen, holdet brugte ESnets On-Demand Secure Circuits and Advance Reservation System (OSCARS) til at reservere båndbredden til kørslen.

"Den innovative og alsidige karakter af ESnets OSCARS gjorde det muligt for os at designe en unik 5000-mile 100 Gbps loop, som vores ESnet-kolleger hurtigt var med til at etablere i 2015, " sagde Zettars grundlægger og administrerende direktør Chin Fang. "Designet af ESnet muliggør brugen af ​​en separat dedikeret kanal til testen uden påvirkning af eller forstyrrelse fra produktionstrafik. Vi var således i stand til at have datalagringsklyngerne og dataoverførselsknuderne samplaceret i det samme rack, selvom de var i begge ender af løkken. Fysisk var de adskilt af tommer, men digitalt er de adskilt af 5000 miles. Desuden har klyngerne selv et selvpålagt loft på 80 Gbps."

Fang sagde, at den fem timer lange forbedring i overførsel af petabyte af data blev opnået takket være forbedringer i både software og hardware. Dette år, Zettar forbedrede markant paralleliteten af ​​sin software for at fremskynde dataoverførsler for både krypterede og ikke-krypterede data. Intel forsynede også teamet med hurtigere processorer og solid-state hukommelsesprodukter til hurtigere at flytte data ind og ud af hovedlagersystemer. I dette tilfælde, projektet brugte simulerede datasæt med filstørrelsesfordelinger leveret af LCLS Data Management Group.

"Det fleksible trafiktekniske design af ESnets netværk sikrer, at TCP-baserede overførselsprotokoller kan bruges effektivt til databevægelser med høj kapacitet, " sagde ESnet-direktør Inder Monga. "ESnets vejledende strategi er at foregribe og være på forkant med dataoverførselskravene fra vores videnskabelige brugere. Igangværende forsøg som dem, vi støtter for SLAC, er vigtige for os, fordi vi ser de retninger, som forskerholdene er på vej mod, og vi kan forbedre vores support og infrastruktur til at være klar, når faciliteter som LCLS II kommer online."