Det er svært at måle AIs evne til at lære

Organisationer, der ønsker at drage fordel af revolutionen med kunstig intelligens (AI), bør være forsigtige med at lægge alle deres æg i én kurv, har en undersøgelse fra University of Waterloo fundet.

I en undersøgelse offentliggjort i Nature Machine Intelligence , Waterloo-forskere fandt ud af, at i modsætning til konventionel visdom, der kan ikke være nogen nøjagtig metode til at afgøre, om et givet problem kan løses med succes med maskinlæringsværktøjer.

"Vi skal gå frem med forsigtighed, " sagde Shai Ben-David, hovedforfatter af undersøgelsen og professor ved Waterloo's School of Computer Science. "Der er en stor trend af værktøjer, der er meget succesfulde, men ingen forstår hvorfor de har succes, og ingen kan give garantier for, at de fortsat vil have succes.

"I situationer, hvor der kun kræves et ja eller nej svar, vi ved præcis, hvad der kan eller ikke kan gøres med maskinlæringsalgoritmer. Imidlertid, når det kommer til mere generelle opsætninger, vi kan ikke skelne lærlige fra ulærelige opgaver."

I undersøgelsen, Ben-David og hans kolleger overvejede en læringsmodel kaldet estimering af maksimum (EMX), som fanger mange almindelige maskinlæringsopgaver. For eksempel, opgaver som at identificere det bedste sted at lokalisere et sæt distributionsfaciliteter for at optimere deres tilgængelighed for fremtidige forventede forbrugere. Forskningen viste, at ingen matematisk metode nogensinde ville være i stand til at fortælle, fået en opgave i den model, om et AI-baseret værktøj kunne klare den opgave eller ej.

"Dette fund kommer som en overraskelse for forskersamfundet, da det længe har været troet, at når en præcis beskrivelse af en opgave er givet, det kan derefter bestemmes, om maskinlæringsalgoritmer vil være i stand til at lære og udføre denne opgave, sagde Ben-David.

Studiet, Lærbarhed kan være ubeslutsom, var medforfatter af Ben-David, Pavel Hrubeš fra Institut for Matematik ved Videnskabsakademiet i Tjekkiet, Shay Morgan fra Institut for Datalogi, Princeton University, Amir Shpilka, Institut for Datalogi, Tel Aviv Universitet, og Amir Yehudayoff fra Institut for Matematik, Technion-IIT.