Sådan gør du meningsmålinger mere repræsentative og ærlige

I 2012, Den amerikanske statistiker Nate Silver forudsagde korrekt resultaterne af alle 50 stater i det amerikanske præsidentvalg med 100 % nøjagtighed.

Sammenlign dette med chokresultatet af Trump-valget i 2016, og nu det australske valg i 2019, da næsten alle australske meningsmålinger fejlagtigt forudsagde, at Bill Shortens Labour Party ville besejre Scott Morrisons koalition på et foretrukket grundlag af to partier.

Hvordan tog meningsmålingerne det så galt? Vigtigere, hvordan kan vi sikre, at vi får et mere præcist resultat næste gang?

Hvad meningsmålinger skal gøre

En god meningsmåling skal gøre to svære ting:

1. den skal finde et stort og repræsentativt udsnit af australske vælgere
2. det skal få de vælgere til ærligt at røbe, hvem de vil stemme på.

Hvis begge disse ting sker, statistisk teori giver os tillid til, at afstemningen vil være pålidelig.

For at øge vanskeligheden, vi har ikke bare brug for godt meningsmålinger, vi har brug for fremragende meningsmålinger, fordi selv en lille fejl kan betyde at forudsige den forkerte vinder.

For eksempel, hvis et ministerium ville vide, hvor stor en procentdel af befolkningen, der havde udført frivilligt arbejde i det sidste år, det ville sandsynligvis ikke have nogen betydning for deres formål, hvis de bestilte to meningsmålinger, som gav estimater på 48% og 52%. Men denne variation er uacceptabel for valgmeningsmålinger, som har brug for en lille fejlmargin for præcist at forudsige vinderen.

Sådan får du en repræsentativ prøve

Et godt repræsentativt udsnit vil være hele den australske stemmeberettigede befolkning, men i mikrokosmos. Hvis der er 16 millioner stemmeberettigede, derefter en repræsentativ prøve på 1, 600 ville betyde, at hver udvalgt vælger repræsenterer 10, 000 mennesker kan lide dem.

Brug af relativt små stikprøver er en billig måde at estimere det større billede af valget på, uden at ty til dyre undersøgelser som den australske undersøgelse af homoseksuelle ægteskaber.

Med et stort og repræsentativt udvalg, statistisk teori fortæller os, at vi vil komme tæt på det reelle resultat med en snæver fejlmargin. Men meningsmålingerne i dette valg forudsagde konsekvent den forkerte vinder, hvilket betyder, at der var noget galt med prøverne.

Problemet med disruptiv teknologi

Meningsmålinger gennemføres normalt af meningsmålere, der ringer til fastnet, nogle gange ringer til mobiltelefoner, robo-opkald og internetundersøgelser.

I den seneste tid, hvor næsten alle australiere havde en fastnettelefon, det var langt nemmere at få et repræsentativt udvalg af vælgere ved tilfældigt at ringe til numre eller stikprøver fra De Hvide Sider. Tilfældigheden er nøglen, fordi det ødelægger bias ved at give alle stemmeberettigede den samme chance for at blive undersøgt. På den måde undgår man at favorisere bestemte grupper.

Moderne kommunikationsmetoder har spoleret fastnettelefonernes repræsentativitet - 36% af australske voksne bruger nu kun en mobil. Og fordi ældre australiere er mere tilbøjelige til at beholde deres fastnet, dette påvirker enhver prøve, der bruger fastnettelefoner alene.

Langt flere australiere har en mobiltelefon end en fastnet - så hvorfor ikke bruge disse i stedet? En af grundene er, at nogle mennesker har to mobiltelefoner – forretningsmæssige og personlige – så afstemningen ville overrepræsentere arbejdende australiere. Og med færre ældre, der har mobiler, denne tilgang ville også overrepræsentere yngre australiere.

Selv hvis vi havde et perfekt repræsentativt udsnit af telefonnumre, vi kan forvente, at et stort antal mennesker ikke svarer eller lægger på, hvilket skaber endnu en skævhed, fordi meningsmålingen så overrepræsenterer folk med mere tid og dem, der er mere politisk engagerede.

Sådan får du ærlige svar

Meningsmålinger har været forkerte før. To eksempler er valget i 1992 og 2015 i Storbritannien, hvor meningsmålingerne fejlagtigt forudsagde et godt resultat for Labour. Obduktionen af ​​disse fejl kom med teorien om "Shy Tory-faktoren", hvor folk var for flove til at indrømme over for meningsmålere, at de stemte på Tories (det konservative højrefløjsparti).

Masser af australiere er ikke flov over at fortælle nogen, hvem de vil stemme på, men selv andelen af ​​generte vælgere er lille, så kunne de stadig afspore afstemningens nøjagtighed.

En række australske vælgere har indrømmet at have givet falske svar på telefonafstemninger, fordi de var irriterede over opkaldet. Selv en lille procentdel af irriterede mennesker kunne ødelægge en ellers veltilrettelagt meningsmåling.

En anden teori – fremsat af den australske nobelpristager Brian Schmidt – er, at meningsmålerne lyttede mere til hinanden, end de gjorde offentligheden. Dette er kendt som "hyrde", hvor afstemningsresultater, der syntes at være langt fra normen, blev drevet hen imod en gruppetænkning.

En analyse af tallene viser en slående mangel på variation i de mange seneste meningsmålinger.

Sådan får du bedre meningsmålinger

Bedre meningsmålinger er dyrere, fordi meningsmålingerne skal bruge flere kræfter på at få et repræsentativt og ærligt udvalg af vælgere. Nogle af de hurtige og nemme meningsmålinger, der bruges i øjeblikket, er primært rettet mod at generere nyhedshistorier, med nøjagtighed som et sekundært mål.

Afstemningens nøjagtighed kunne øges ved at betale folk for at deltage, og betale dem mere, hvis som en gruppe, de får det rigtige resultat. Dette er en uafprøvet idé, men det kunne skabe et stærkt incitament for folk at dele deres sande hensigter.

Det samme argument kunne også forbedre meningsmålernes strategier. Det er, skabe økonomiske belønninger for at få tingene rigtigt, eller bøder for at tage fejl. Imidlertid, med krympende budgetter på nyhedsmedier for at finansiere afstemninger, der er ingen grund til at tro, at dette problem vil løse sig selv.

Afstemning er en vanskelig opgave

En meningsmåling retter sig mod skiftende meninger hos en befolkning i stadig forandring. Vælgerne er ofte svære at nå eller genstridige. Alligevel er en stor del af befolkningen sandsynligvis utilfredse med meningsmålingerne. De vil måske aldrig give agt på meningsmålinger igen, eller nægter at deltage i dem, hvilket ironisk nok vil gøre meningsmålerens arbejde endnu sværere.

Valgmeningsmålinger er som straffesparkskonkurrencer ved en VM-finale:Der er et enormt pres for at få det rigtigt, og vi husker mest af alt de store misser. Men til næste VM er vi tilbage og ser straffene, fordi ingen har fundet på et bedre system til at vurdere den nationale stemning.

Denne artikel er genudgivet fra The Conversation under en Creative Commons -licens. Læs den originale artikel.