Mere chat, mindre duh, på vej takket være Nvidia AI springer med BERT

I fremtiden er der chatbots, der er endnu mere chatty og mindre dumme. Ja, dagen kommer, hvor du let kan reflektere over, hvor langt AI's sprogkundskaber er nået. Og på den refleksion, ignorer ikke Nvidias bidrag i deres arbejde med BERT.

OKAY, vi vil afstå fra at kalde AI-sprogfærdigheder for dumme. Nvidia formulerede det mere taktfuldt i sin meddelelse den 13. august. "Begrænsede samtale -AI -tjenester" har eksisteret i flere år, men det har været ekstremt svært for chatbots, intelligente personlige assistenter og søgemaskiner til at operere med menneskelig forståelse på grund af manglende evne til at implementere ekstremt store AI-modeller i realtid, sagde virksomheden.

Det har ændret sig. Nvidia sagde, at vigtige optimeringer tilføjet til sin AI -platform hjalp med at opnå hastighedsrekorder i AI -træning og slutning. HotHardware skære på jagt i vurderingen af ​​virkningen af ​​dette arbejde. "Nvdia smadrede rekorder for samtale -AI -træning, der kunne" turbolade "mainstream -assistenter som Alexa og Siri.

Tilbage til BERT, der allerede har opnået en retmæssig plads inden for behandling af naturligt sprog. En meddelelse fra november 2018 fra Google dukkede op på sin Google AI -blog:

"En af de største udfordringer i behandling af naturligt sprog (NLP) er manglen på træningsdata ... de fleste opgavespecifikke datasæt indeholder kun et par tusinde eller et par hundrede tusinde menneskemærkede træningseksempler ... For at hjælpe med at lukke dette hul i data, forskere har udviklet en række forskellige teknikker til træning af generelle sprogrepræsentationsmodeller ved hjælp af den enorme mængde ikke-noteret tekst på nettet (kendt som præ-træning). Den forududdannede model kan derefter finjusteres på NLP-opgaver med små data som spørgsmålssvar og følelsesanalyse, resulteret i betydelige nøjagtighedsforbedringer i forhold til træning på disse datasæt fra bunden.

"Denne uge, vi open sourced en ny teknik til NLP-foruddannelse kaldet Bidirectional Encoder Representations from Transformers, eller BERT. "

Godt, det var "i denne uge" i 2018, og nu er det i denne uge i 2019. Nvidias udviklerblog annoncerede tirsdag, at Nvidia havde verdens hurtigste BERT -træningstid. NVIDIA DGX SuperPOD trænet BERT-Large på kun 53 minutter.

Som Darrell Etherington sagde TechCrunch , dette betyder "timemærket" under uddannelse af BERT blev brudt (53 minutter). Etherington sagde, "Nvidias AI -platform var i stand til at træne modellen på mindre end en time, en rekordstor præstation på kun 53 minutter. "

Nvidias Shar Narasimhan bloggede om, at en vigtig fordel ved BERT var, at den ikke behøver at blive foruddannet med mærkede data, så det kan lære at bruge enhver almindelig tekst. Denne fordel åbner døren til massive datasæt. BERT's tal:Narasimhan sagde, at det generelt var "forududdannet i en sammenkædning af BooksCorpus (800 millioner ord) og den engelske Wikipedia (2,5 milliarder ord), at danne et samlet datasæt på 3,3 milliarder ord. "

Nvidias nyhedsudgivelse den 13. august sagde, at tidlige brugere af virksomhedens præstationsfremskridt omfattede Microsoft og startups, der udnyttede sin platform til at udvikle sprogbaserede tjenester til kunder. Microsoft Bing bruger sin Azure AI -platform og Nvidia -teknologi til at køre BERT.

Rangan Majumde, gruppeleder, Microsoft Bing, sagde, at Bing yderligere optimerede slutningen af ​​BERT. Han sagde, at de opnåede "to gange latensreduktionen og fem gange forbedret gennemstrømning under inferens ved hjælp af Azure NVIDIA GPU'er sammenlignet med en CPU-baseret platform."

David Cardinal i ExtremeTech havde flere detaljer om, hvad Nvidia bragte til bordet i fremskridt med BERT:"Nvidia har demonstreret, at det nu kan træne BERT (Googles referencesprogsmodel) på under en time på en DGX SuperPOD bestående af 1, 472 Tesla V100-SXM3-32GB GPU'er, 92 DGX-2H servere, og 10 Mellanox Infiniband pr. node. "

En del af Nvidias pralende rettigheder på AI -fronten er også en sprogmodel baseret på Transformers, den teknologiske byggesten, der bruges til BERT. Nvidia sagde "Med fokus på udvikleres stadigt stigende behov for større modeller, NVIDIA Research byggede og uddannede verdens største sprogmodel baseret på Transformers, den teknologiske byggesten, der bruges til BERT og et stigende antal andre naturlige sprog AI -modeller. NVIDIAs brugerdefinerede model, med 8,3 milliarder parametre, er 24 gange størrelsen på BERT-Large. "

Ifølge Nvidia, de "byggede verdens største transformerbaserede sprogmodel oven på eksisterende deep learning hardware, software, og modeller. Derved, vi har med succes overgået begrænsningerne ved traditionel enkelt GPU -træning ved at implementere en enkel og effektiv modelparallel tilgang med kun få målrettede ændringer af de eksisterende PyTorch -transformatorimplementeringer. "

© 2019 Science X Network