Overraskende populær stemmealgoritme udviklet til at gendanne rangerede valg

Forestil dig, at du bliver bedt om at rangere amterne i Pennsylvania med hensyn til antallet af COVID-19-infektioner. Eller du kan blive bedt om at rangere følgende byer i Pennsylvania baseret på deres befolkninger:Harrisburg, Allentown, Erie og State College.

Hvad ville dit svar være? Hvordan tror du, at andre ville besvare disse spørgsmål?

En ny algoritme udviklet af et team af forskere ledet af Hadi Hosseini, assisterende professor ved Penn State College of Information Sciences and Technology, kan nå det sande svar på dette og lignende spørgsmål ved at kombinere en respondents egen stemme eller mening med deres forudsigelse om, hvordan andre vil svare.

Hosseini forklarede, at en person med viden om Pennsylvania højst sandsynligt ville kende svaret på ovenstående spørgsmål. De kan også forudsige, at andre mindre informerede deltagere, gennemsnitlig, ville give den forkerte rangering. Omvendt uniformerede deltagere er højst sandsynligt ikke klar over det rigtige svar og kan give en forkert rangering af disse byer.

"Dette er kernen i vores algoritme:ved at bruge den ekstra information, som informerede deltagere skal rette for sådanne fejl, " han sagde.

Forskernes metode udvider en eksisterende tilgang til at anmode om visdom hos en skare, kaldet overraskende populær metode, som er blevet brugt i scenarier som politiske meningsmålere, der forudsiger udfaldet af valg, og forskere, der forudsiger vinderne af NFL-kampe. Ligesom Hosseinis model, overraskende populær metode beder respondenterne om at give to svar pr. spørgsmål:hvad deres egen mening eller stemme er, og hvordan de forudser, at andre vil stemme. Teknikken udnytter viden fra en lille gruppe eksperter i en større skare til at pege på det rigtige svar.

Imidlertid, den overraskende populære metode har været begrænset til at forudsige et enkelt korrekt svar på et stillet spørgsmål, såsom "Hvad er hovedstaden i Pennsylvania?" eller "Hvor mange penge tjente filmen "Titanic' på billetkontoret verden over?" Hosseinis model udvider dette koncept til rangerede valg eller alternativer.

"Man behøver ikke fuldt ud at fremkalde fuldstændige rangeringer og forudsigelser af andre, " sagde Hosseini. "Vi er i stand til at genvinde grundsandheden ved at kombinere både afstemning og forudsigelser uden at fremkalde fuld fordeling over alle mulige n! placeringer. Og dette er sandt for at genvinde enten kun topvalget eller den fulde placering."

Metoden kan potentielt anvendes til at forbedre prognoser med rangerede valg, såsom i exit polls for at forudsige udfaldet af politiske valg. Ifølge Hosseini, ved at stille vælgere sekundære spørgsmål gennem sin metode, færre prøver ville være nødvendige sammenlignet med standard exit polls, der er afhængige af tilfældige stikprøver.

Hosseinis tilgang klarer sig også markant bedre end konventionelle stemmemetoder, såsom simpelt flertal, der ikke beder respondenterne om at forudsige, hvordan andre vil reagere.

"Det viser sig, at forudsigelse af andres stemmer er vigtigere end de faktiske stemmer, " sagde Hosseini. "Dette er meget afgørende, fordi det hævder, at det er et mere kritisk spørgsmål at spørge, hvad du synes om andre menneskers mening end at spørge deres egen mening."

For at teste deres model, Hosseini og hans team stillede 720 crowdsourcede arbejdere spørgsmål om geografi, film og kunst at vælge, for eksempel, hvilken film fra et udvalg af fire har den mest indtjenende, alle tiders kasseindkomst. Forskerne brugte seks forskellige formater til at fremkalde svar fra deltagerne, såsom at vælge det øverste svar fra en liste med fire valgmuligheder eller rangordne disse fire valg i rækkefølge. Nogle deltagere blev også bedt om at forudsige, hvilket topsvar andre ville vælge, eller hvordan andre ville rangere deres rækkefølge.

"Vores algoritmiske metoder og resultater kan have en betydelig indflydelse på, hvordan vi ser og håndterer valg, på nationalt eller lokalt plan, sagde Hosseini. Endnu vigtigere, vores teknik viser, at vi kan forudsige en sandhedsrangering med høj nøjagtighed uden behov for massiv dataindsamling."

Derudover han sagde, metoden kunne anvendes på områder uden for prognoser for objektive resultater af begivenheder såsom politiske valg og sportsspil.

"Overraskende nok, denne teknik virker endda til at forudsige prisplaceringen af ​​abstrakte malerier, hvilket typisk er mere udfordrende at spekulere i af mængden, " han tilføjede.

De fremlagde deres papir, "Overraskende populær afstemning genvinder placeringer, Overraskende nok!" denne uge på den internationale fælles konference om kunstig intelligens (IJCAI-21), afholdt stort set 19.-26. august. Arbejdet blev delvist finansieret af National Science Foundation.