Dataloger udvikler ny software til smart balancering af databehandlingsbelastning i supercomputere

Det moderne ordsprog "arbejde smartere, ikke hårdere" understreger vigtigheden af ​​ikke kun at arbejde på at producere, men også effektiv brug af ressourcer.

Og det er ikke noget, supercomputere i øjeblikket gør godt hele tiden, især når det kommer til at håndtere enorme mængder data.

Men et team af forskere i Department of Computer Science i Virginia Tech's College of Engineering hjælper supercomputere med at arbejde mere effektivt på en ny måde, bruge maskinlæring til at distribuere korrekt, eller belastningsbalance, databehandlingsopgaver på tværs af de tusindvis af servere, der udgør en supercomputer.

Ved at inkorporere maskinlæring til at forudsige ikke kun opgaver, men typer af opgaver, forskere fandt ud af, at belastningen på forskellige servere kan holdes afbalanceret gennem hele systemet. Holdet vil præsentere sin forskning i Rio de Janeiro, Brasilien, ved det 33. internationale symposium for parallel og distribueret behandling den 22. maj, 2019.

Nuværende datastyringssystemer i supercomputing er afhængige af tilgange, der tildeler opgaver på en round-robin måde til servere uden hensyntagen til den type opgave eller mængde data, det vil belaste serveren med. Når belastningen på serverne ikke er afbalanceret, systemer hænger fast af efterladte, og ydeevnen er alvorligt forringet.

"Supercomputing-systemer er forvarsler af amerikansk konkurrenceevne inden for højtydende computing, " sagde Ali R. Butt, professor i datalogi. "De er afgørende for ikke kun at opnå videnskabelige gennembrud, men for at bevare effektiviteten af ​​systemer, der gør det muligt for os at drive vores hverdags forretninger, fra at bruge streamingtjenester til at se film til at behandle online finansielle transaktioner til at forudsige vejrsystemer ved hjælp af vejrmodellering."

For at implementere et system til brug af maskinlæring, holdet byggede et nyt ende-til-ende kontrolplan, der kombinerede de applikationscentrerede styrker ved klientsidetilgange med de systemcentrerede styrker ved serversidetilgange.

"Denne undersøgelse var et kæmpe spring i styring af supercomputing-systemer. Det, vi har gjort, har givet supercomputing et ydelsesboost og bevist, at disse systemer kan styres smart på en omkostningseffektiv måde gennem machine learning, " sagde Bharti Wadhwa, førsteforfatter på papiret og en ph.d. kandidat ved Institut for Datalogi. "Vi har givet brugerne mulighed for at designe systemer uden at pådrage sig en masse omkostninger."

Den nye teknik gav holdet muligheden for at have "øjne" til at overvåge systemet og gjorde det muligt for datalagringssystemet at lære og forudsige, hvornår større belastninger kunne komme ned ad gedden, eller hvornår belastningen blev for stor til en server. Systemet leverede også realtidsinformation på en applikations-agnostisk måde, skabe et globalt overblik over, hvad der skete i systemet. Tidligere kunne servere ikke lære, og softwareapplikationer var ikke smidige nok til at blive tilpasset uden større redesign.

"Algoritmen forudsagde fremtidige anmodninger om applikationer via en tidsseriemodel, " sagde Arnab K. Paul, anden forfatter og ph.d. kandidat også ved Institut for Datalogi. "Denne evne til at lære af data gav os en unik mulighed for at se, hvordan vi kunne placere fremtidige anmodninger på en belastningsbalanceret måde."

End-to-end-systemet tillod også en hidtil uset mulighed for brugere at drage fordel af den belastningsbalancerede opsætning uden at ændre kildekoden. I nuværende traditionelle supercomputersystemer er dette en bekostelig procedure, da det kræver, at grundlaget for applikationskoden skal ændres

"Det var et privilegium at bidrage til supercomputing med dette hold, sagde Sarah Neuwirth, en postdoc-forsker fra University of Heidelberg's Institute of Computer Engineering. "For at supercomputing skal udvikle sig og imødekomme udfordringerne i et samfund i det 21. århundrede, vi bliver nødt til at lede internationale indsatser som denne. Mit eget arbejde med almindeligt anvendte supercomputing-systemer fik stor gavn af dette projekt."

End-to-end kontrolplanet bestod af lagerservere, der sendte deres brugsoplysninger til metadataserveren. En autoregressiv integreret glidende gennemsnits-tidsseriemodel blev brugt til at forudsige fremtidige anmodninger med ca. 99 procent nøjagtighed og blev sendt til metadataserveren for at kortlægge til lagerservere ved hjælp af grafalgoritmen med minimumsomkostninger og maksimalt flow.