Valgmålinger er 95 % sikre, men kun 60 % nøjagtige, undersøgelse finder

Hvor sikker skal du være i valgmålinger? Ikke nær så selvsikker som meningsmålingerne hævder, ifølge en ny Berkeley Haas-undersøgelse.

De fleste valgmålinger rapporterer om et tillidsniveau på 95 %. Endnu en analyse af 1, 400 meningsmålinger fra 11 valgcyklusser viste, at resultatet kun lander inden for afstemningens resultat kun 60 % af tiden. Og det er for meningsmålinger kun en uge før et valg - nøjagtigheden falder endnu mere ud.

"Hvis du er sikker, baseret på afstemning, om hvordan valget i 2020 kommer til at forløbe, Tænk igen, " sagde Berkeley Haas prof. Don Moore, der udførte analysen med tidligere studerende Aditya Kotak, BA 20. "Der er mange grunde til, at det faktiske resultat kan være anderledes end afstemningen, og den måde, meningsmålere beregner konfidensintervaller på, tager ikke højde for disse problemer."

Mange mennesker blev overraskede, da præsident Donald Trump slog Hillary Clinton i 2016 efter at have fulgt hende i meningsmålingerne, og spekulerede i, at meningsmålinger bliver mindre nøjagtige, eller at valget var så usædvanligt, at det kastede dem fra sig. Men Moore og Kotak fandt ingen tegn på faldende nøjagtighed i deres stikprøve af meningsmålinger tilbage til 2008 - snarere, de fandt konsekvent oversikre påstande fra meningsmålingernes side.

"Måske skal den måde, vi fortolker meningsmålinger på som helhed, justeres, at redegøre for den usikkerhed, der følger med dem, " sagde Kotak. Faktisk, at være 95 % sikker, meningsmålinger ville være nødt til at fordoble de fejlmargener, de rapporterer, selv en uge fra valgdagen, analysen konkluderede.

Som statistik- og datalogistuderende på en undergraduate forskningslærlingeuddannelse i Moore's Accuracy Lab under præsidentvalget i 2019, Kotak blev nysgerrig efter de konfidensintervaller, der var inkluderet i afstemninger. Han bemærkede, at meningsmålingernes fejlmargin ofte blev nævnt som en fodnote i nyhedsartikler og valgprognosemetoder, og han spekulerede på, om de var så nøjagtige, som deres fejlmarginer antydede, de burde være.

Kotak bragte ideen til Moore, der studerer overmod fra både et psykologisk og statistisk perspektiv. Meget af forskningen om afstemningsnøjagtighed overvejer kun, om afstemningen korrekt kaldte vinderen. For at vurdere meningsmålingernes tillid, de besluttede at se med tilbagevirkende kraft på meningsmålinger baseret på hvor lang tid før et valg de blev gennemført, og ikke overveje, om en kandidat vandt eller tabte, men om den faktiske stemmeandel faldt inden for den fejlmargin, målingen havde rapporteret. For eksempel, hvis en meningsmåling viste, at 54 % af vælgerne gik ind for en kandidat, og den havde en fejlmargen på 5 %, det ville være korrekt, hvis kandidaten fik 49% til 59% af stemmerne, men ville være en miss, hvis kandidaten vandt med mere end 59 % af stemmerne (eller mindre end 49 %).

Moore og Kotak opnåede 1, 400 meningsmålinger gennemført forud for parlamentsvalget i 2008, 2012, og 2016, samt de demokratiske præsidentvalg i Iowa og New Hampshire fra 2008 og 2016 og de republikanske primærvalg i de samme stater fra 2012 og 2016. Fordi nogle meningsmålinger spurgte om flere kandidater, prøven inkluderede resultater på over 5, 000 undersøgelser af, hvordan folk sagde, at de ville stemme på bestemte kandidater, samt de medfølgende fejlmargener.

Analyserer afstemningerne i syv-dages partier, de fandt et støt fald i nøjagtigheden, jo længere fra et valg afstemningen blev gennemført, hvor kun omkring halvdelen viste sig at være nøjagtig 10 uger før et valg. Dette giver mening, siden uforudsete hændelser opstår – såsom den tidligere FBI-direktør James Comey, der annoncerede en undersøgelse af Clintons e-mails blot en uge før præsidentvalget i 2016. Men de fleste meningsmålinger, selv uger ud, rapporterede industristandarden 95 % konfidensinterval.

Sampling fejl og konfidensintervaller

Konfidensintervallet kvantificerer, hvor sikker man kan være på, at stikprøven af ​​adspurgte personer afspejler hele vælgerpopulationen. Et 95 % konfidensinterval, for eksempel, betyder, at hvis den samme prøveudtagningsprocedure blev fulgt 100 gange, 95 af disse prøver ville indeholde den sande vælgerpopulation. Der ligger problemet, imidlertid.

Konfidensniveauet tager højde for "sampling error, "et statistisk udtryk, der kvantificerer, hvor sandsynligt det er, at ved et rent tilfælde, stikprøven varierer fra den større population af vælgere, som stikprøven er trukket fra. For eksempel, ikke at undersøge en stor nok gruppe af vælgere ville øge stikprøvefejlen. Men prøveudtagningsfejl inkluderer ikke andre former for fejl - såsom undersøgelse af det forkerte sæt af mennesker til at begynde med.

"Folk glemmer ofte, at fejlmargener for meningsmålinger kun fanger de statistiske fejlkilder, " sagde David Broockman, en lektor i Berkeleys Institut for Statskundskab. "Denne analyse viser, hvor store de resterende ikke-statistiske fejlkilder er i praksis."

Tilføjede prof. Gabriel Lenz, også af Berkeley Political Science, "Dette er en fascinerende analyse, og fremtidigt arbejde kunne sortere kilderne til unøjagtigheden, såsom meningsmålere af lav kvalitet, svært ved at screene sandsynlige vælgere, sidste øjebliks ændringer i vælgernes hensigter, og mere."

Det er nemt at tage stikprøvefejl i betragtning i afstemningsstatistikker, men meget sværere at redegøre for alle de andre ukendte, sagde Moore. Det er en lektie, der rækker langt ud over meningsmåling.

"Fordi vi baserer vores overbevisning på uperfekte og partiske eksempler på information, nogle gange tager vi fejl af årsager, som vi ikke havde forudset, " han sagde.