Hvor højt er tårnet i Paris? Hvordan vektorsøgning ved, at du spørger om Eiffeltårnet

For kun få år siden, websøgning var enkel. Brugerne skrev nogle få ord og vadede gennem sider med resultater.

I dag, de samme brugere kan i stedet tage et billede på en telefon og smide det i et søgefelt eller bruge en intelligent assistent til at stille et spørgsmål uden fysisk at røre en enhed overhovedet. De kan også skrive et spørgsmål og forvente et faktisk svar, ikke en liste over sider med sandsynlige svar.

Disse opgaver udfordrer traditionelle søgemaskiner, som er baseret på et omvendt indekssystem, der er afhængigt af søgeordsmatch for at producere resultater.

"Søgeordssøgningsalgoritmer fejler bare, når folk stiller et spørgsmål eller tager et billede og spørger søgemaskinen, "Hvad er det her?" sagde Rangan Majumder, gruppeprogramleder på Microsofts Bing-søge- og AI-team.

Selvfølgelig, Det er ikke nyt at holde trit med brugernes søgepræferencer – det har været en kamp, ​​siden websøgningens start. Men nu, det bliver lettere at imødekomme disse skiftende behov, takket være fremskridt inden for kunstig intelligens, inklusiv dem, der var banebrydende af Bings søgeteam og forskere ved Microsofts Asien-forskningslaboratorium.

"AI'en gør de produkter, vi arbejder med, mere naturlige, sagde Majumder. Før, folk måtte tænke, 'Jeg bruger en computer, så hvordan skriver jeg mit input på en måde, der ikke bryder søgningen?'"

Microsoft har gjort et af de mest avancerede AI-værktøjer, det bruger til bedre at imødekomme folks udviklende søgebehov, tilgængeligt for enhver som et open source-projekt på GitHub. På onsdag, det udgav også brugereksempelteknikker og en tilhørende video til disse værktøjer via Microsofts AI-laboratorium.

Algoritmen, kaldet Space Partition Tree And Graph (SPTAG), giver brugerne mulighed for at drage fordel af intelligensen fra deep learning-modeller til at søge gennem milliarder af stykker information, kaldet vektorer, på millisekunder. At, på tur, betyder, at de hurtigere kan levere mere relevante resultater til brugerne.

Vektorsøgning gør det nemmere at søge efter koncept frem for nøgleord. For eksempel, hvis en bruger indtaster "Hvor højt er tårnet i Paris?" Bing kan returnere et naturligt sprogresultat, der fortæller brugeren, at Eiffeltårnet er 1, 063 fod, selvom ordet "Eiffel" aldrig optrådte i søgeforespørgslen, og ordet "høj" aldrig optræder i resultatet..

Microsoft bruger vektorsøgning til sin egen Bing-søgemaskine, og teknologien hjælper Bing med bedre at forstå hensigten bag milliarder af websøgninger og finde det mest relevante resultat blandt milliarder af websider.

Brug af vektorer til bedre søgning

I det væsentlige en numerisk repræsentation af et ord, billedpixel eller andet datapunkt, en vektor hjælper med at indfange, hvad et stykke data faktisk betyder. Takket være fremskridt inden for en gren af ​​AI kaldet deep learning, Microsoft sagde, at det kan begynde at forstå og repræsentere søgehensigter ved hjælp af disse vektorer.

Når det numeriske punkt er blevet tildelt til et stykke data, vektorer kan arrangeres, eller kortlagt, med tætte tal placeret i nærheden af ​​hinanden for at repræsentere lighed. Disse proksimale resultater vises for brugerne, forbedre søgeresultaterne.

Teknologien bag den vektorsøgning, som Bing bruger, fik sin start, da virksomhedens ingeniører begyndte at bemærke usædvanlige tendenser i brugernes søgemønstre.

"Ved at analysere vores logfiler, holdet fandt ud af, at søgeforespørgsler blev længere og længere, " sagde Majumder. Dette antydede, at brugerne stillede flere spørgsmål, overforklarer på grund af fortiden, dårlige erfaringer med søgeordssøgning, eller "forsøgte at opføre sig som computere", når de beskrev abstrakte ting - alt sammen unaturligt og ubelejligt for brugerne.

Med Bing -søgning, vektoriseringsindsatsen har udvidet til over 150 milliarder stykker data indekseret af søgemaskinen for at bringe forbedringer i forhold til traditionel søgeordsmatchning. Disse omfatter enkelte ord, tegn, websideuddrag, fulde forespørgsler og andre medier. Når en bruger søger, Bing kan scanne de indekserede vektorer og levere det bedste match.

Vektoropgaver trænes også ved hjælp af deep learning-teknologi til løbende forbedringer. Modellerne overvejer input som slutbrugerklik efter en søgning for at blive bedre til at forstå betydningen af ​​den søgning.

Selvom ideen om vektorisering af medier og søgedata ikke er ny, det har først for nylig været muligt at bruge det på omfanget af en massiv søgemaskine som Bing, Microsoft-eksperter sagde.

"Bing behandler milliarder af dokumenter hver dag, og ideen er nu, at vi kan repræsentere disse poster som vektorer og søge gennem dette gigantiske indeks på 100 milliarder plus vektorer for at finde de mest relaterede resultater på 5 millisekunder, " sagde Jeffrey Zhu, programleder på Microsofts Bing-team.

For at sætte det i perspektiv, Majumder sagde, Overvej dette:En stak på 150 milliarder visitkort ville strække sig herfra til månen. Inden for et øjeblik, Bings søgning ved hjælp af SPTAG kan finde 10 forskellige visitkort efter hinanden inden for den stak af kort.

Bruges til visuel, lydsøgning

Bing-teamet sagde, at de forventer, at open source-tilbuddet kan bruges til virksomheds- eller forbrugervendte applikationer til at identificere et sprog, der tales, baseret på et lydstykke, eller til billedtunge tjenester såsom en app, der lader folk tage billeder af blomster og identificere, hvilken type blomst det er. For disse typer applikationer, en langsom eller irrelevant søgeoplevelse er frustrerende.

"Selv et par sekunder for en søgning kan gøre en app ubrugelig, " bemærkede Majumder.

Teamet håber også, at forskere og akademikere vil bruge det til at udforske andre områder inden for søgenbrud.

"Vi er kun begyndt at udforske, hvad der virkelig er muligt omkring vektorsøgning på denne dybde, " han sagde.