DistME:En hurtig og elastisk distribueret matrixberegningsmotor, der bruger GPU'er

DGIST annoncerede den 4. juli, at professor Min-Soo Kims team i Institut for Informations- og Kommunikationsteknik udviklede DistME (Distributed Matrix Engine) teknologien, der kan analysere 100 gange flere data 14 gange hurtigere end de eksisterende teknologier. Denne nye teknologi forventes at blive brugt i maskinlæring, der har brug for big data-behandling eller forskellige brancher for at analysere data i stor skala i fremtiden.

'Matrix' data, som udtrykker tal i række og kolonne, er den mest udbredte form for data inden for forskellige områder såsom maskinlæring og naturvidenskab. Mens 'SystemML' og 'ScaLAPACK' vurderes som de mest populære teknologier til at analysere matrixdata, men den eksisterende teknologis behandlingsevne har for nylig nået sine grænser med den voksende størrelse af data. Det er især svært at udføre multiplikationer, som er nødvendige for databehandling, til big data-analyse med de eksisterende metoder, fordi de ikke kan udføre elastisk analyse og behandling og kræver en enorm mængde netværksdataoverførsel til behandling.

Som svar, Professor Kims team udviklede en distribueret matrix multiplikationsmetode, der er forskellig fra den eksisterende. Også kaldet CuboidMM, denne metode danner matrix multiplikation i et 3-D hexahedron og derefter partitioner og processer til flere stykker kaldet cuboids. Den optimale størrelse af kuben bestemmes fleksibelt afhængigt af matricernes karakteristika, dvs. størrelsen, dimensionen, og sparsomhed af matrix, for at minimere kommunikationsomkostningerne. CuboidMM inkluderer ikke kun alle de eksisterende metoder, men kan også udføre matrixmultiplikation med minimale kommunikationsomkostninger. Ud over, Professor Kims team udtænkte en informationsbehandlingsteknologi ved at kombinere med GPU (Graphics Processing Unit), som dramatisk forbedrede ydeevnen af ​​matrixmultiplikation.

DistME-teknologien udviklet af professor Kims team har øget behandlingshastigheden ved at kombinere CuboidMM med GPU, som er 6,5 og 14 gange hurtigere end henholdsvis ScaLAPACK og SystemML og kan analysere 100 gange større matrixdata end SystemML. Det forventes at åbne nye anvendeligheder af maskinlæring på forskellige områder, der har behov for databehandling i stor skala, herunder online indkøbscentre og SNS.

Professor Kim ved Institut for Informations- og Kommunikationsteknik sagde 'Machine Learning Technology, som har tiltrukket sig verdensomspændende opmærksomhed, har begrænsninger i hastigheden for matrix-form big data analyse og størrelsen af ​​analysebehandling. Den informationsbehandlingsteknologi, der er udviklet denne gang, kan overvinde sådanne begrænsninger og vil være nyttig i ikke kun maskinlæring, men også applikationer i bredere rækker af videnskabsteknologi-dataanalyseapplikationer."

Denne forskning blev deltaget af Donghyoung Han, en ph.d. studerende på Institut for Informations- og Kommunikationsteknik som førsteforfatter og blev præsenteret den 3. juli i ACM SIGMOD 2019, den topkendte akademiske konference inden for databaseområdet afholdt i Amsterdam, Holland.