Undersøgelse viser, at meget brugte maskinlæringsmetoder ikke virker som påstået

Modeller og algoritmer til at analysere komplekse netværk er meget brugt i forskning og påvirker samfundet som helhed gennem deres applikationer i online sociale netværk, søgemaskiner, og anbefalingssystemer. Ifølge en ny undersøgelse, imidlertid, en udbredt algoritmisk tilgang til modellering af disse netværk er fundamentalt mangelfuld, undlader at fange vigtige egenskaber ved komplekse netværk i den virkelige verden.

"Det er ikke sådan, at disse teknikker giver dig absolut affald. De har sandsynligvis nogle oplysninger i dem, men ikke så meget information, som mange mennesker tror, " sagde C. "Sesh" Seshadhri, lektor i datalogi og teknik ved Baskin School of Engineering ved UC Santa Cruz.

Seshadhri er førsteforfatter til et papir om de nye resultater offentliggjort 2. marts i Proceedings of the National Academy of Sciences . Undersøgelsen evaluerede teknikker kendt som "lavdimensionelle indlejringer, " som almindeligvis bruges som input til maskinlæringsmodeller. Dette er et aktivt forskningsområde, med nye indlejringsmetoder, der udvikles i et hurtigt tempo. Men Seshadhri og hans medforfattere siger, at alle disse metoder deler de samme mangler.

For at forklare hvorfor, Seshadhri brugte eksemplet med et socialt netværk, en velkendt type komplekst netværk. Mange virksomheder anvender maskinlæring til sociale netværksdata for at generere forudsigelser om folks adfærd, anbefalinger til brugere, og så videre. Indlejringsteknikker konverterer i det væsentlige en persons position i et socialt netværk til et sæt koordinater for et punkt i et geometrisk rum, giver en liste over tal for hver person, der kan tilsluttes en algoritme.

"Det er vigtigt, fordi noget abstrakt som en persons 'position i et socialt netværk' kan konverteres til en konkret liste med tal. En anden vigtig ting er, at du vil konvertere dette til et lavdimensionelt rum, så listen over tal, der repræsenterer hver person, er relativt lille, " Forklarede Seshadhri.

Når denne konvertering er udført, systemet ignorerer det faktiske sociale netværk og laver forudsigelser baseret på forholdet mellem punkter i rummet. For eksempel, hvis mange mennesker tæt på dig i det pågældende rum køber et bestemt produkt, systemet kan forudsige, at du sandsynligvis vil købe det samme produkt.

Seshadhri og hans medforfattere demonstrerede matematisk, at væsentlige strukturelle aspekter af komplekse netværk går tabt i denne indlejringsproces. De bekræftede også dette resultat ved empirisk at teste forskellige indlejringsteknikker på forskellige slags komplekse netværk.

"Vi siger ikke, at visse specifikke metoder mislykkes. Vi siger, at enhver indlejringsmetode, der giver dig en lille liste med tal, grundlæggende vil mislykkes, fordi en lavdimensionel geometri bare ikke er udtryksfuld nok til sociale netværk og andre komplekse netværk, " sagde Seshadhri.

Et afgørende træk ved sociale netværk i den virkelige verden er tætheden af ​​trekanter, eller forbindelser mellem tre personer.

"Hvor du har mange trekanter, det betyder, at der er en masse samfundsstruktur i den del af et socialt netværk, " sagde Seshadhri. "Desuden, disse trekanter er endnu mere betydningsfulde, når du ser på mennesker, der har begrænsede sociale netværk. I et typisk socialt netværk, nogle mennesker har tonsvis af forbindelser, men de fleste mennesker har ikke mange forbindelser."

I deres analyse af indlejringsteknikker, forskerne observerede, at mange af de sociale trekanter, der repræsenterer samfundsstrukturen, går tabt i indlejringsprocessen. "Al denne information ser ud til at forsvinde, så det er næsten som om, at netop den ting, du ville finde, er gået tabt, når du konstruerer disse geometriske repræsentationer, " sagde Seshadhri.

Lavdimensionelle indlejringer er på ingen måde de eneste metoder, der bruges til at generere forudsigelser og anbefalinger. De er typisk blot et af mange input til en meget stor og kompleks maskinlæringsmodel.

"Denne model er en kæmpe sort boks, og mange af de positive resultater, der bliver rapporteret, siger, at hvis du inkluderer disse lavdimensionelle indlejringer, din præstation stiger, måske får du en lille bump. Men hvis du brugte det af sig selv, det ser ud til, at du ville gå glip af meget, " sagde Seshadhri.

Han bemærkede også, at nye indlejringsmetoder for det meste sammenlignes med andre indlejringsmetoder. Nyligt empirisk arbejde af andre forskere, imidlertid, viser, at forskellige teknikker kan give bedre resultater til specifikke opgaver.

"Lad os sige, at du vil forudsige, hvem der er republikaner, og hvem der er demokrat. Der er teknikker udviklet specifikt til den opgave, som fungerer bedre end indlejringer, " sagde han. "Påstanden er, at disse indlejringsteknikker fungerer til mange forskellige opgaver, og det er derfor, mange mennesker har adopteret dem. Det er også meget nemt at tilslutte dem til et eksisterende maskinlæringssystem. Men til enhver bestemt opgave, det viser sig, at der altid er noget bedre, du kan gøre."

I betragtning af maskinlæringens voksende indflydelse i vores samfund, Seshadhri sagde, at det er vigtigt at undersøge, om de underliggende antagelser bag modellerne er gyldige.

"Vi har alle disse komplicerede maskiner, der gør ting, der påvirker vores liv markant. Vores budskab er bare, at vi skal være mere forsigtige med at evaluere disse teknikker, " sagde han. "Især i denne tid, hvor maskinlæring bliver mere og mere kompliceret, det er vigtigt at have en vis forståelse af, hvad der kan og ikke kan gøres."