Forskere skaber den første af sin slags komponerbare lagringsplatform til højtydende computing

Storstilet, avanceret højtydende computing, kaldes ofte supercomputing, er afgørende for at løse både komplekse og store spørgsmål.

Alt fra besvarelse af metafysiske forespørgsler om universets oprindelse til opdagelse af kræftbekæmpende lægemidler til understøttelse af high-speed streamingtjenester, kræver behandling af enorme mængder data.

Men lagringsplatforme, der er afgørende for disse avancerede computersystemer, har været fastlåst i en stram ramme, der krævede, at brugerne enten kunne vælge mellem tilpasning af funktioner eller høj tilgængelighed.

Nu, Virginia Tech-forskere har fundet en måde at give datasystemer med højtydende computing (HPC) fleksibilitet til at trives med en første-i-sin-slags ramme kaldet BespoKV, måske hjælpe til en dag at nå HPC -målet om at præstere på exascale, eller 1 milliard milliarder beregninger i sekundet.

Forskerne vil præsentere deres resultater på Association of Computing Machinery/IEEE Supercomputing Conference i Dallas, Texas, den 13. november.

Hovedingrediensen i funktionen af ​​den nye platform er nøgleværdisystemer (KV). KV-systemer gemmer og henter vigtige data fra meget hurtig hukommelsesbaseret lagring i stedet for langsommere diske. Disse systemer bruges i stigende grad i nutidens højtydende applikationer, der bruger distribuerede systemer, som består af mange computere til at løse et problem. Højtydende computing er afhængig af at have computerindtag, behandle, og analysere enorme datamængder ved hidtil usete hastigheder. I øjeblikket, de bedste systemer fungerer med en kvadrillion beregninger i sekundet, eller en petaflop.

Forskningen er relevant for brancher, der behandler store mængder data, om det er rum-hogging, intens visuel grafik af filmstreamingsider; millioner af finansielle transaktioner hos store kreditkortselskaber; eller brugergenereret indhold på sociale medier. Tænk store mediesider som Facebook, hvor indholdet altid ændres og løbende tilgås. Når brugere uploader indhold til deres profilsider, disse oplysninger findes på flere servere.

Men hvis du løbende skal have adgang til bestemt indhold, KV-systemer kan være langt mere effektive som lagringsmedium, fordi indhold indlæses fra den hurtigere lager i hukommelsen i nærheden, ikke den fjerntliggende lagringsserver. Dette gør det muligt for systemet at levere meget høj ydeevne ved udførelse af opgaver eller anmodninger.

"Jeg blev interesseret i nøgleværdisystemer, fordi denne meget grundlæggende og enkle lagringsplatform ikke er blevet udnyttet i højtydende computersystemer, hvor det kan give mange fordele, "sagde Ali Anwar, første forfatter på papiret, der præsenteres, og en nylig Virginia Tech -kandidat, der i øjeblikket er ansat hos IBM Research. "BespoKV er en ny ramme, der kan sætte HPC -systemer i stand til at give en masse fleksibilitet og ydeevne og ikke være lænket til stift lagerdesign."

Den største innovation ved BespoKV er, at den understøtter sammensætning af en række KV -butikker med ønskelige funktioner. Det fungerer ved at tage en KV-butik med én server kaldet en datalet og muliggør øjeblikkelige og klar til brug distribuerede KV-butikker. Nu, i stedet for at redesigne et system fra bunden for at udføre en bestemt opgave, en udvikler kan droppe en datalet til BespoKV og aflaste "rodet VVS" for distribuerede systemer til rammen. BespoKV afkobler KV -butiksdesignet til kontrolplanet til distribueret administration og dataplanet til lokal datalagring.

Rammerne muliggør også nye HPC -tjenester til arbejdsbyrder, som virksomheder og institutioner endnu ikke har forudset.

En af de største begrænsende virkninger af nuværende state-of-the-art KV-butikker er, at de er designet med forud eksisterende distribuerede tjenester i tankerne og ofte er specialiseret til en bestemt indstilling. En anden begrænsende faktor er det ufleksible monolitiske design, hvor distribuerede funktioner er dybt indbagt i et system med backend -datalagre, der gør ting som at styre beholdning, Ordre:% s, og forsyning. Det stive design af disse KV -butikker er ikke tilpasset til stadigt skiftende brugerkrav til utallige backend, topologi, konsistens, og en lang række andre tjenester.

"Udviklere fra store virksomheder kan virkelig sænke tænderne i at designe innovative HPC -lagersystemer med BespoKV, "sagde Ali Butt, professor i datalogi. "Ydelse af dataadgang er en stor begrænsning i HPC-lagersystemer og anvender generelt en blanding af løsninger for at give fleksibilitet sammen med ydeevne, hvilket er besværligt. Vi har skabt en måde at fremskynde systemadfærden betydeligt for at overholde den ønskede ydeevne, konsistens, og pålidelighedsniveauer. "

BespoKV kan være smidig, fordi den tillader en vilkårlig kortlægning mellem ønskede tjenester og tilgængelige komponenter, samtidig med at den understøtter distribuerede managementtjenester til at realisere og aktivere de distribuerede KV -butikker, der er knyttet til datalet.

"Nu hvor vi har bevist, at vi kan foretage en effektiv og enkel handling ved at bruge KV -systemer i kraftfulde HPC -systemer, kunder behøver ikke at vælge mellem skalerbarhed og fleksibilitet, "sagde Butt.