Spiser du din fornøjelse med hunde? Test, test af AI

Test, test:DeepMind sætter AI ned til en IQ-test. Selvom AI-præstationsresultaterne ikke er overvældende med hensyn til at trumfe eller matche menneskelige ræsonnementer, det er en begyndelse. AI-forskere erkender, at det har vist sig svært at etablere deres evne til at ræsonnere om abstrakte begreber. DeepMind ønskede at se, hvordan AI kunne præstere, og holdet foreslog et datasæt og udfordring for at undersøge abstrakte ræsonnementer.

Kan AI matche vores evner til abstrakt ræsonnement? Vil dybe neurale netværk være bedre i stand til at løse abstrakte visuelle ræsonnementproblemer i fremtiden? DeepMind-forskerne har bestemt været på sagen.

Deres papir, "Måling af abstrakt ræsonnement i neurale netværk, " er på arXiv. Forfattere er David Barrett, Felix Hill, Adam Santoro, Ari Morcos, Timothy Lillicrap, fra DeepMind. Du kan tjekke, hvad de ledte efter, og hvordan de testede. Artiklen fokuserer grundlæggende på en tilgang til måling af abstrakt ræsonnement i læremaskiner. I deres diskussion, holdet sagde, Ja, der har været fremskridt inden for ræsonnement og læring af abstrakt repræsentation i neurale net - men i hvilket omfang disse modeller udviser noget som generelt abstrakt ræsonnement "er genstand for megen debat."

Modellerne for at lykkes skulle klare generaliseringsregimer, hvor trænings- og testdata var forskellige. De sagde, at de præsenterede en arkitektur med en struktur designet til at fremme ræsonnement. Resultater:Blandet pose. De sagde, at deres model var dygtig til visse former for generalisering, men svag overfor andre.

Ikke desto mindre, det er bemærkelsesværdigt, at de undersøgte måder at måle og fremkalde stærkere abstrakte ræsonnementer i neurale netværk.

"Standard menneskelig IQ-test kræver ofte, at testpersoner fortolker perceptuelt simple visuelle scener ved at anvende principper, som de har lært gennem hverdagserfaring, " sagde en DeepMind-blog. "Vi har endnu ikke midlerne til at udsætte maskinlæringsagenter for en lignende strøm af 'hverdagsoplevelser', hvilket betyder, at vi ikke let kan måle deres evne til at overføre viden fra den virkelige verden til visuelle ræsonnementstester. Ikke desto mindre, vi kan skabe et eksperimentelt set-up, der stadig sætter menneskelige visuelle ræsonnementstester til god brug."

De fortsatte med at bygge en generator til matrixproblemer med et sæt abstrakte faktorer. Holdet tilskynder til mere forskning i abstrakt ræsonnement, og de gjorde deres datasæt offentligt tilgængeligt.

Det store spørgsmål er, om videnskabsmænd kan opnå menneskelignende analytiske ræsonnementer.

Mens deres IQ-testresultater måske har været en blandet sag, forskerne ser ikke dette som et spil om at vinde eller give op. De vil fortsætte deres arbejde med at udforske strategier til forbedring af generalisering og udforske fremtidige modeller. Som CIO dyk bemærkede, "Intelligente assistenter er blevet fodret med bjerge af data for at hjælpe forbrugere i næsten alle tænkelige områder, men når de præsenteres for ukendte problemer, kan det stadig komme til kort."

Forfatterne skrev, i deres abstrakt, "Vi foreslår et datasæt og en udfordring designet til at undersøge abstrakt ræsonnement, inspireret af en velkendt menneskelig IQ-test. For at lykkes med denne udfordring, modeller skal klare forskellige generaliserings-'regimer', hvor trænings- og testdata adskiller sig på klart definerede måder. Vi viser, at populære modeller som ResNets klarer sig dårligt, selv når trænings- og testsæt kun adskiller sig minimalt, og vi præsenterer en ny arkitektur, med en struktur designet til at fremme ræsonnement, det gør det betydeligt bedre. "

CIO dyk beskrev deres tests som visuelle IQ-tests. I processen, forfatterne var interesserede i at se præstationer i evner til at generalisere, når testdata var anderledes.

At matche AI ​​med menneskelige evner til abstraktion fortsætter med at være en kamp op ad bakke.

Som CIO dyk Alex Hickey skrev, AI ville være nødt til at skelne mellem forskellige betydninger mellem "at spise spaghetti med ost" og "spise spaghetti med hunde."

Avisen kommenterede, at det kan være vanskeligt at teste neurale nets evner, og neurale netværk har deres faldgruber, givet deres evne til at huske og evne til at udnytte overfladiske statistiske signaler.

© 2018 Tech Xplore