Alarmerende fejl almindelig i undersøgelsesanalyser

Det er svært at undervurdere vigtigheden af ​​undersøgelsesdata:De fortæller os, hvem vi er, og - i hænderne på de politiske beslutningstagere - hvad vi skal gøre.

Det havde længe været tydeligt for Brady West, en ekspert i undersøgelsesmetodik ved University of Michigan, Ann Arbor, at fordelene ved undersøgelsesdata eksisterede sideløbende med mangel på træning i, hvordan man fortolker dem korrekt, især når det kom til sekundære analyser - forskere, der genanalyserede undersøgelsesdata, som var blevet indsamlet af en tidligere undersøgelse.

"I mit konsulentarbejde for organisationer og virksomheder, folk ville komme ind og sige:'Godt, her er mit skøn over, hvor ofte noget forekommer i en befolkning, ' såsom frekvensen af ​​en sygdom eller præferencerne for et politisk parti. Og de vil gerne vide, hvordan de skal fortolke det. Jeg ville svare, "Har du taget højde for vægtning af de undersøgelsesdata, du bruger - eller, redegjorde du for prøvedesignet?' Og jeg vil sige, sandsynligvis 90 procent af tiden, de så på mig og havde ingen idé om, hvad jeg talte om. De havde aldrig lært om de grundlæggende principper for at arbejde med undersøgelsesdata i deres standard Intro to Stats-klasser."

Som undersøgelsesmetodolog, West spekulerede på, om hans oplevelse var tegn på et systemisk problem. Der var ikke meget i den akademiske litteratur til at besvare spørgsmålet, så han og hans kolleger, Joseph Sakshaug og Guy Aurelien, prøvet 250 papirer, rapporter og præsentationer – alle tilgængelige online, alle udfører sekundære analyser af undersøgelsesdata - for at se, om disse analytiske fejl var, Ja, almindelige.

"Det var ret chokerende, " siger West. "Kun omkring halvdelen af ​​disse analyser hævdede at tage højde for vægtning, indvirkningen af ​​stikprøvedesign på variansestimater blev almindeligt misforstået, og der var ingen tegn på forbedring af disse problemer over tid." Men muligvis værst af alt, disse problemer var lige så udbredte i den peer-reviewede litteratur i deres stikprøve, som de var i tekniske rapporter og konferencepræsentationer. "Det var det, der virkelig var mest chokerende for mig, " siger West. "Per-review-processen fangede ikke disse fejl."

Et alarmerende eksempel på, hvad der kan ske, når du beregner et skøn, men ignorerer undersøgelsens vægtning, kan findes i 2010 National Survey of College Graduates (NSCG). "Dette er en stor national undersøgelse af universitetsuddannede, og de siger bogstaveligt talt i deres dokumentation, at de oversampler personer med naturvidenskabelige og ingeniøruddannelser, " siger West. "Hvis du tager højde for vægtningen, som korrigerer for denne oversampling, omkring 30 procent af befolkningen får naturvidenskabelige og ingeniøruddannelser; hvis du glemmer vægtningen, du ekstrapolerer oversamplen til hele befolkningen, og pludselig har 55 procent af befolkningen naturvidenskabelige og ingeniøruddannelser."

Ironisk, bedre prøveudtagning af undersøgte populationer kan forværre problemet. "Der er stor interesse for underrepræsenterede befolkninger, såsom latinamerikanere, " siger West. "Så, en masse nationale undersøgelser oversampler disse grupper og andre for at skabe en stor nok stikprøve til, at forskere kan studere tilstrækkeligt. Men når Average Joe Researcher griber alle data – ikke kun data fra den delpopulation, de er interesseret i, men alle, hvide, Afroamerikanere, og latinamerikanere - og så forsøger de at analysere alle disse data samlet, det er, når oversampling kan have en frygtelig effekt på det overordnede billede, hvis denne funktion i prøvedesignet ikke tages korrekt med i skønnet."

Der er mange brugervenlige softwareværktøjer, der nemt kan redegøre for de stikprøve- og vægtningskompleksiteter, der er forbundet med undersøgelsesdata, men det faktum, at de ikke bliver brugt, taler om det underliggende problem.

"Dette problem stammer fra det faktum, at de mennesker, der udgiver disse artikler, bare ikke bliver fortalt om noget af dette i deres træning, " siger West. "Vi har vidst om vigtigheden af ​​undersøgelsesvægtning i næsten et århundrede - men på en eller anden måde har, hvordan man håndterer vægtede undersøgelsesdata, ikke trængt ind i de statistikklasser, som forskere tager på bachelor- eller kandidatniveau. Vi bruger en formue på at lave nationale undersøgelser - og hvem ved, hvor meget det koster os at fejlfortolke disse data."

For at løse det problem, West hjælper med at designe et MOOC (massive open online course) på University of Michigan, der introducerer statistik med softwaren Python. Vægtning og korrekte undersøgelsesanalyser vil blive undervist i det allerførste kursus i denne specialisering. "Vi fokuserer virkelig på at sikre, at før du hopper ind i nogen analyser af undersøgelsesdata, du har en virkelig fast forståelse af, hvordan dataene blev indsamlet, og hvor de kom fra."