Sætter standarden for maskinlæring

Mikrocomputerrevolutionen i 1970'erne udløste en Wild West-lignende udvidelse af personlige computere i 1980'erne. I løbet af tiåret, snesevis af personlige computerenheder, fra Atari til Xerox Alto, strømmet ind på markedet. CPU'er og mikroprocessorer udviklede sig hurtigt, med nye generationer, der kommer ud på månedsbasis.

Midt i al den vækst, der var ingen standardmetode til at sammenligne en computers ydeevne med en anden. Uden dette, ikke blot ville forbrugerne ikke vide, hvilket system der var bedre til deres behov, men computerdesignere havde ikke en standardmetode til at teste deres systemer.

Det ændrede sig i 1988, da Standard Performance Evaluation Corporation (SPEC) blev etableret for at producere, vedligeholde og godkende et standardiseret sæt ydeevnebenchmarks for computere. Tænk på benchmarks som standardiserede test til computere. Ligesom SAT'erne eller TOEFL, benchmarks er beregnet til at give en metode til sammenligning mellem lignende deltagere ved at bede dem om at udføre de samme opgaver.

Siden SPEC, snesevis af benchmarking-organisationer er dukket op for at levere en metode til at sammenligne ydeevnen af ​​forskellige systemer på tværs af forskellige chip- og programarkitekturer.

I dag, der er et nyt vilde vesten inden for maskinlæring. I øjeblikket, der er mindst 40 forskellige hardwarefirmaer klar til at banebrydende inden for nye AI-processorarkitekturer.

"Nogle af disse virksomheder vil stige, men mange vil falde, " sagde Vijay Janapa Reddi, Lektor i elektroteknik ved Harvard John A. Paulson School of Engineering and Applied Sciences (SEAS). "Udfordringen er, hvordan kan vi se, om et stykke hardware er bedre end et andet? Det er her, benchmark-standarder bliver vigtige."

Janapa Reddi er en af ​​lederne af MLPerf, en benchmarkingsuite for maskinlæring. ML Perf begyndte som et samarbejde mellem forskere ved Baidu, Berkeley, Google, Harvard, og Stanford og er vokset til at omfatte mange virksomheder, et væld af universiteter, sammen med hundredvis af individuelle deltagere verden over. Andre Harvard-bidragydere inkluderer David Brooks, Haley familieprofessor i datalogi ved SEAS og Gu-Yeon Wei, Robert og Suzanne Case professor i elektroteknik og datalogi ved SEAS.

Målet med ML Perf er at skabe et benchmark til at måle ydeevnen af ​​maskinlæringssoftwarerammer, maskinlæringshardwareacceleratorer, og maskinlæring cloud og edge computing platforme.

Vi talte med Janapa Reddi om MLPerf og fremtiden for benchmarking til maskinlæring.

SØS:Først, hvordan fungerer benchmarking for machine learning?

Janapa Reddi:I sin enkleste form, en benchmark-standard er en streng definition af en maskinlæringsopgave, lad os sige billedklassificering. Ved at bruge en model, der implementerer denne opgave, såsom ResNet50, og et datasæt, såsom COCO eller ImageNet, modellen evalueres med en målnøjagtighed eller kvalitetsmåling, som den skal opnå, når den udføres med datasættet.

SEAS:Hvordan inddrager benchmarking din forskning hos SEAS?

Janapa Reddi:Personligt, Jeg er interesseret i at benchmarke autonome og "små" maskinlæringssystemer.

Autonome køretøjer er stærkt afhængige af maskinlæring til synsbehandling, sensorfusion og mere. Bagagerummet på en autonom bil indeholder over 2, 500 watt computerhestekræfter. Bare for at sætte det ind i en sammenhæng, en smartphone bruger 3 watt, og din gennemsnitlige bærbare computer bruger 25 watt. Så disse autonome køretøjer bruger en betydelig mængde strøm, til dels takket være al den maskinlæring, de stoler på. My Edge Computing Lab er interesseret i at skære ned på det strømforbrug, mens du stadig skubber grænserne for alle de behandlingsmuligheder, der er nødvendige, maskinlæring og alt inkluderet.

I den anden ende af spektret er "små" enheder. Tænk på bittesmå mikrocontrollere, der bruger milliwatt i strøm, som kan kastes rundt og glemmes. Små mikrocontrollere er i dag passive enheder med lidt eller ingen indbygget intelligens. Men "TinyML" er et spirende koncept, der fokuserer på maskinlæring for små indlejrede mikrocontrollere. Min gruppe studerer, hvordan vi kan aktivere TinyML, da vi ser mange forskellige anvendelser. TinyML-enheder kan overvåge dit helbred intelligent, eller små droner, der passer i din håndflade, kan navigere gennem trange små rum i tilfælde af en faldet bygning til eftersøgnings- og redningsaktioner, og flyve ind mellem træer og blade for at overvåge landmandens afgrøders sundhed og holde skadedyr ude

Dette er to domæner, der interesserer mig meget, specifikt i forbindelse med maskinlæringssystemer, fordi der er adskillige interessante forskningsproblemer at løse, som strækker sig ud over kun maskinlærings-hardwareydelse og inkluderer design og implementering af maskinlæringssystemsoftware.

SEAS:Hvilken lære kan maskinlæring tage fra tidligere benchmarking-indsatser, som dem, der blev startet af SPEC for tre årtier siden?

Janapa Reddi:Gennem årene, SPEC CPU er blevet drevet af et konsortium af forskellige industripartnere, som går sammen for at bestemme en række arbejdsbelastninger, der kan føre til retfærdige og nyttige benchmarking-resultater. Derfor, SPEC-arbejdsbelastninger er blevet en standard inden for forskning og den akademiske verden til måling og sammenligning af CPU-ydeevne. Som David Patterson - en berømt computerarkitekt og modtageren af ​​Turing Award 2017 - ofte ynder at påpege, SPEC-arbejdsbelastninger førte til mikroprocessordesignets guldalder.

Vi kan låne nogle lektioner fra SPEC og anvende dem til maskinlæring. Vi er nødt til at bringe det akademiske og forskningsmiljø sammen for at skabe et lignende konsortium af industripartnere, som kan hjælpe med at definere standarder og benchmarks, der er repræsentative for brugssager i den virkelige verden.

SEAS:Er det sådan ML Perf fungerer?

Janapa Reddi:Ja. MLPerf er indsatsen fra mange organisationer og flere engagerede individer, alle arbejder sammen med den fælles sammenhængende vision om at opbygge et retfærdigt og nyttigt benchmark for maskinlæringssystemer. På grund af denne teamindsats, vi kommer med benchmarks, der er baseret på mange menneskers visdom og en dyb forståelse af kundetilfælde fra den virkelige verden. Ingeniører, der arbejder med maskinlæringssystemer, bidrager med deres erfaringer med de nuancerede systemproblemer, og virksomheder kan levere deres brugscases i den virkelige verden (med brugertilladelse, selvfølgelig). På grundlag af alle de oplysninger, vi indsamler, MLPerfs samarbejdshold af forskere og ingeniører sammensætter et benchmark, der er nyttigt til læringsplatforme og -systemer.

SEAS:MLPerf har netop annonceret nogle nye benchmarks for machine learning, ret?

Janapa Reddi:Rigtigt. Vi har netop annonceret vores første inferenssuite, som består af fem benchmarks på tværs af tre forskellige maskinlæringsopgaver:billedklassificering, objektdetektering og maskinoversættelse. Disse tre opgaver omfatter velkendte modeller som MobileNets og ResNet, der understøtter forskellige billedopløsninger til forskellige brugssituationer som autonome køretøjer og smartphones.

Vi stimulerer modellerne med "LoadGen, " som er en belastningsgenerator, der efterligner forskellige brugstilstande, der findes i den virkelige verden. For eksempel i smartphones, vi tager et billede, fodre det ind i en maskinlæringsmodel, og venter spændt på, om den kan identificere, hvad billedet er. Naturligvis, vi ønsker, at denne slutning skal være så hurtig som muligt. I et kameraovervågningssystem, vi vil se på flere billeder, der kommer gennem forskellige kameraer, så use casen er følsom over for både latens og gennemløb (hvor mange billeder kan jeg behandle inden for et begrænset tidsrum). Denne LoadGen med vores benchmarks adskiller MLPerf fra andre benchmarks.

SØS:Så, hvad kommer dernæst?

Janapa Reddi:Benchmarks er et skridt mod et større mål. MLPerf er interesseret i at udvide sin indsats fra at kurere benchmarks for evaluering af systemydeevne til at udvikle nye datasæt, der kan fremme ny innovation inden for maskinlæringsalgoritmer, software- og hardwarefællesskaber. Så langt, vi har været afhængige af datasæt, der i vid udstrækning er blevet gjort tilgængelige via akademikere i open source-fællesskaberne. Men på nogle områder, som tale, der er et reelt behov for at udvikle nye datasæt, der er mindst 10 til 100 gange større. Men større alene er utilstrækkeligt. Vi er også nødt til at adressere retfærdighed og manglen på mangfoldighed i datasættene for at sikre, at de modeller, der trænes på disse datasæt, er upartiske

SEAS:Hvordan adresserer du retfærdighed og mangfoldighed i maskinlæring?

Janapa Reddi:Vi skabte "Harvard MLPerf Research" i samarbejde med Center for Research on Computation and Society (CRCS), som samler videnskabsmænd og forskere fra en række områder for at gøre fremskridt inden for beregningsforskning, der tjener offentlig interesse. Gennem centrum, vi håber på at komme i kontakt med eksperterne på andre skoler for at løse problemer som retfærdighed og skævhed i datasæt. Vi har brug for mere end dataloger til at løse disse problemer.