Advance øger effektiviteten af ​​flashlagring i datacentre

MIT-forskere har designet et nyt flashlagringssystem, der kan skære i halvdelen af ​​den energi og fysiske plads, der kræves til en af ​​de dyreste komponenter i datacentre:datalagring.

Datacentre er serverfarme, der letter kommunikationen mellem brugere og webtjenester, og er nogle af de mest energiforbrugende faciliteter i verden. I dem, tusinder af strømhungrende servere gemmer brugerdata, og separate servere kører apptjenester, der har adgang til disse data. Andre servere letter undertiden beregningen mellem de to serverklynger.

De fleste lagringsservere bruger i dag solid-state-drev (SSD'er), som anvender flashlagring-elektronisk programmerbare og sletbare hukommelsesmikrochips uden bevægelige dele-til at håndtere dataanmodninger med høj kapacitet ved høje hastigheder. I et papir, der blev præsenteret på ACM's internationale konference om arkitektonisk støtte til programmeringssprog og operativsystemer, forskerne beskriver et nyt system kaldet LightStore, der ændrer SSD'er til at oprette forbindelse direkte til et datacenters netværk-uden brug af andre komponenter-og til at understøtte beregningsmæssigt enklere og mere effektive datalagringsoperationer. Yderligere software- og hardwareinnovationer integrerer systemet problemfrit i eksisterende datacenterinfrastruktur.

I forsøg, forskerne fandt en klynge af fire LightStore -enheder, kaldet lagerknudepunkter, kørte dobbelt så effektivt som traditionelle lagringsservere, målt ved det strømforbrug, der er nødvendigt for at angive dataanmodninger. Klyngen krævede også mindre end halvdelen af ​​den fysiske plads, der er optaget af eksisterende servere.

Forskerne opdelte energibesparelser ved individuelle datalagringsoperationer, som en måde til bedre at fange systemets fulde energibesparelser. I "tilfældig skrivning" -data, for eksempel, som er den mest beregningsmæssigt intensive operation i flashhukommelse, LightStore opererede næsten otte gange mere effektivt end traditionelle servere.

Håbet er, at en dag, LightStore-noder kan erstatte strømhungrende servere i datacentre. "Vi erstatter denne arkitektur med en enklere, billigere opbevaringsløsning ... det tager halvt så meget plads og halvdelen af ​​strømmen, alligevel leverer den samme kapacitet ydeevne, "siger medforfatter Arvind, Johnson -professoren i datalogi og en forsker i laboratoriet til datalogi og kunstig intelligens. "Det vil hjælpe dig med driftsudgifter, da den bruger mindre strøm, og kapitaludgifter, fordi energibesparelser i datacentre direkte oversættes til pengebesparelser. "

Tilsluttede sig Arvind på papiret er:første forfatter Chanwoo Chung, en kandidatstuderende ved Institut for Elektroteknik og Datalogi; og kandidatstuderende Jinhyung Koo og Junsu Im, og professor Sungjin Lee, alle fra Daegu Gyeongbuk Institute of Science and Technology (DGIST).

Tilføjelse af "værdi" til flash

Et stort effektivitetsproblem med nutidens datacentre er, at arkitekturen ikke har ændret sig til at rumme flash -lagring. År siden, datalagringsservere bestod af relativt langsomme harddiske, sammen med masser af dynamiske random access-hukommelseskredsløb (DRAM) og centrale processorenheder (CPU), der hjælper med hurtigt at behandle alle data, der strømmer ind fra app-serverne.

I dag, imidlertid, harddiske er for det meste blevet erstattet med meget hurtigere flashdrev. "Folk har bare tilsluttet flash til, hvor harddiskene plejede at være, uden at ændre noget andet, "Siger Chung." Hvis du bare kan slutte flashdrev direkte til et netværk, du behøver slet ikke disse dyre lagringsservere. "

Til LightStore, forskerne ændrede først SSD'er for at få adgang til "nøgleværdi-par, "en meget enkel og effektiv protokol til at hente data. Grundlæggende brugeranmodninger vises som nøgler, som en række tal. Nøgler sendes til en server, som frigiver de data (værdi), der er knyttet til denne nøgle.

Konceptet er enkelt, men nøgler kan være ekstremt store, så computing (søge og indsætte) dem udelukkende i SSD kræver meget beregningskraft, som bruges op af det traditionelle "flash -oversættelseslag". Denne temmelig komplekse software kører på et separat modul på et flashdrev til at styre og flytte data. Forskerne brugte visse datastruktureringsmetoder til at køre denne flashstyringssoftware ved kun at bruge en brøkdel af computerkraft. Derved, de aflæssede softwaren helt til et lille kredsløb i flashdrevet, der kører langt mere effektivt.

Denne aflæsning frigør separate CPU'er, der allerede er på drevet - som er designet til at forenkle og hurtigere udføre beregning - til at køre brugerdefineret LightStore -software. Denne software bruger datastruktureringsteknikker til effektivt at behandle anmodninger om nøgleværdi-par effektivt. I det væsentlige, uden at ændre arkitekturen, forskerne konverterede et traditionelt flashdrev til et nøgleværdidrev. "Så, vi tilføjer denne nye funktion til flash - men vi tilføjer virkelig ingenting, "Siger Arvind.

Tilpasning og skalering

Udfordringen var derefter at sikre, at app -servere kunne få adgang til data i LightStore -noder. I datacentre, apps får adgang til data gennem en række strukturelle protokoller, såsom filsystemer, databaser, og andre formater. Traditionelle lagerservere kører sofistikeret software, der giver app -serverne adgang via alle disse protokoller. Men dette bruger en god mængde beregningsenergi og er ikke egnet til at køre på LightStore, som er afhængig af begrænsede beregningsressourcer.

Forskerne designede meget beregningsmæssigt let software, kaldet en "adapter, "som oversætter alle brugeranmodninger fra apptjenester til nøgleværdipar. Adapterne bruger matematiske funktioner til at konvertere oplysninger om de anmodede data-f.eks. kommandoer fra de specifikke protokoller og identifikationsnumre på appserveren-til en nøgle. Den sender derefter denne nøgle til den relevante LightStore -knude, som finder og frigiver de parrede data. Fordi denne software er beregningsmæssigt enklere, det kan installeres direkte på app -servere.

"Uanset hvilke data du får adgang til, vi laver en oversættelse, der fortæller mig nøglen og værdien forbundet med den. Derved, Jeg tager også en vis kompleksitet væk fra lagringsserverne, "Siger Arvind.

En sidste nyskabelse er, at tilføjelse af LightStore -noder til en klynge skaleres lineært med datagennemløb - den hastighed, hvormed data kan behandles. Traditionelt set folk stabler SSD'er i datacentre for at tackle højere gennemløb. Men, mens datalagringskapaciteten kan vokse, overførselsplateauerne efter kun et par ekstra drev. I forsøg, forskerne fandt ud af, at fire LightStore -noder overgår gennemstrømningsniveauer med den samme mængde SSD'er.

Denne historie er genudgivet med tilladelse fra MIT News (web.mit.edu/newsoffice/), et populært websted, der dækker nyheder om MIT -forskning, innovation og undervisning.