Holdet slår verdensrekord for hurtige, præcis AI-træning

Forskere ved Hong Kong Baptist University (HKBU) har indgået et samarbejde med et hold fra Tencent Machine Learning for at skabe en ny teknik til at træne kunstig intelligens (AI) maskiner hurtigere end nogensinde før og samtidig bevare nøjagtigheden.

Under forsøget, holdet trænede to populære dybe neurale netværk kaldet AlexNet og ResNet-50 på henholdsvis fire minutter og 6,6 minutter. Tidligere, den hurtigste træningstid var 11 minutter for AlexNet og 15 minutter for ResNet-50.

AlexNet og ResNet-50 er dybe neurale netværk bygget på ImageNet, et stort datasæt til visuel genkendelse. Når først du er blevet trænet, systemet var i stand til at genkende og mærke et objekt på et givet foto. Resultatet er væsentligt hurtigere end tidligere rekorder og overgår alle andre eksisterende systemer.

Maskinlæring er et sæt matematiske tilgange, der gør det muligt for computere at lære af data uden eksplicit at blive programmeret af mennesker. De resulterende algoritmer kan derefter anvendes på en række data- og visuel genkendelsesopgaver, der bruges i AI.

HKBU-teamet består af professor Chu Xiaowen og ph.d. studerende Shi Shaohuai fra Institut for Datalogi. Professor Chu sagde, "Vi har foreslået en ny optimeret træningsmetode, der markant forbedrer det bedste output uden at miste nøjagtigheden. I AI-træning, forskere stræber efter at træne deres netværk hurtigere, men dette kan føre til et fald i nøjagtigheden. Som resultat, træning af maskinlæringsmodeller ved høj hastighed og samtidig opretholdelse af nøjagtighed og præcision er et vigtigt mål for videnskabsmænd."

Professor Chu sagde, at den tid, der kræves til at træne AI-maskiner, påvirkes af både regnetid og kommunikationstid. Forskerholdet opnåede gennembrud i begge aspekter for at skabe denne rekordstore præstation.

Dette omfattede vedtagelse af en enklere beregningsmetode kendt som FP16 for at erstatte den mere traditionelle, FP32, gør beregningen meget hurtigere uden at miste nøjagtigheden. Da kommunikationstiden påvirkes af størrelsen af ​​datablokke, holdet fandt frem til en kommunikationsteknik ved navn "tensorfusion, " som kombinerer mindre stykker data til større, optimering af transmissionsmønsteret og derved forbedre effektiviteten af ​​kommunikationen under AI-træning.

Denne nye teknik kan anvendes i storskala billedklassificering, og det kan også anvendes til andre AI-applikationer, inklusive maskinoversættelse; naturlig sprogbehandling (NLP) for at forbedre interaktioner mellem menneskeligt sprog og computere; medicinsk billeddannelsesanalyse; og online multiplayer kampspil.