Overhypning og hvidvaskning af forskning er et selvforskyldt sår for samfundsvidenskab

Tidligere på efteråret Dartmouth College forskere offentliggjorde en undersøgelse, der hævdede at knytte voldelige videospil til aggression hos børn. Logikken i en meta-analytisk undersøgelse som denne er, at ved at kombinere mange individuelle undersøgelser, forskere kan lede efter fælles tendenser eller effekter identificeret i tidligere arbejde. Kun, som psykologforsker, der længe har fokuseret på dette område, Jeg hævder, at denne metaanalyse ikke gjorde noget af den slags. Faktisk, størrelsen af ​​den effekt, de fandt, er omtrent den samme som at spise kartofler på teenagers selvmord. Hvis noget, det tyder på, at videospil ikke forudsiger ungdoms aggression.

Dette studie, og andre kan lide det, er symptomatiske på et stort problem inden for samfundsvidenskab:overhypningen af ​​risikable, upålidelige forskningsresultater, der har ringe anvendelse i den virkelige verden. Ofte former sådanne fund offentlige opfattelser af den menneskelige tilstand og er vejledende for den offentlige politik - på trods af stort set affald. Sådan sker det.

De sidste par år har set psykologi, i særdeleshed, viklet ind i, hvad nogle kalder en reproducerbarhedskrise. Mange længe elskede fund inden for samfundsvidenskab mere bredt har vist sig at være svære at replikere under strenge forhold. Når et studie køres igen, det viser ikke de samme resultater som oprindeligt offentliggjort. Presset om at offentliggøre positive fund og tendensen til, at forskere injicerer deres egne forspændinger i analyser, intensiverer spørgsmålet. Meget af denne manglende replikation kan afhjælpes med mere gennemsigtige og strenge metoder inden for samfundsvidenskab.

Men overhypningen af ​​svage resultater er anderledes. Det kan ikke rettes metodisk; en løsning skulle komme fra en kulturel ændring inden for området. Men incitamenterne til at være på forhånd om mangler er få, især for et område som psykologi, som bekymrer over offentlighedens opfattelse.

Et eksempel er Implicit Association Test (IAT). Denne teknik er mest berømt for at undersøge ubevidste racemæssige skævheder. I betragtning af den opmærksomhed den og teorierne baseret på den har fået, noget af en sommerhusindustri har udviklet sig til at uddanne medarbejdere om deres implicitte skævheder og hvordan man kan overvinde dem. Desværre, en række undersøgelser tyder på, at IAT er upålidelig og ikke forudsiger virkelighedens adfærd. Bekæmpelse af racemæssig skævhed er rosende, men de betydelige offentlige investeringer i IAT og begrebet implicitte skævheder er sandsynligvis mindre produktive end annonceret.

En del af problemet er noget, jeg kalder "død ved pressemeddelelse". Dette fænomen opstår, når forskere eller deres universitet, eller en journaludgivende organisation som American Psychological Association, frigiver en pressemeddelelse, der hypes en undersøgelses resultater uden at specificere dens begrænsninger. Sensationelle påstande har en tendens til at få mere opmærksomhed på nyhederne.

For eksempel, et nu berygtet madlaboratorium på Cornell oplevede flere tilbagetrækninger, efter at det kom frem, at de torturerede deres data for at få overskriftsvenlige konklusioner. Deres forskning antydede, at folk spiste mere, når de serverede større portioner, action -tv viser øget madforbrug, og børns grøntsagsforbrug ville stige, hvis råvarer blev genmærket med børnevenlige temaer som f.eks. "røntgenbillede gulerødder." Hovedsagelig, laboratorieleder Brian Wansink ser ud til at være blevet ekspert i markedsføring af samfundsvidenskab, selvom de fleste konklusioner var spinkle.

En anden bekymring er en proces, jeg kalder "videnskabsvask" - oprydning af snavs, rodet, ufuldstændig videnskab til offentligt forbrug. Inden for mit eget ekspertområde, Dartmouth-metaanalysen på videospil er et godt eksempel. Lignende beviser til det, der var blevet indført i metaanalysen, havde været tilgængeligt i årevis og dannede faktisk grundlaget for, hvorfor de fleste lærde ikke længere forbinder voldelige spil med ungdomsovergreb.

Science magazine diskuterede for nylig, hvordan metaanalyser kan misbruges til for tidligt at afslutte videnskabelige debatter. Metaanalyser kan være nyttige, når de belyser videnskabelig praksis, der kan forårsage falske virkninger, for at vejlede fremtidig forskning. Men de kan kunstigt udjævne vigtige uoverensstemmelser mellem undersøgelser.

Lad os sige, at vi antager, at at spise blåbær helbreder depression. Vi kører 100 undersøgelser for at teste denne hypotese. Forestil dig, at omkring 25 procent af vores eksperimenter finder små forbindelser mellem blåbær og reduceret depression, hvorimod de øvrige 75 procent ikke viser noget. De fleste mennesker er enige om, at dette er en temmelig dårlig fremvisning for blåbærhypotesen. Hovedparten af ​​vores beviser fandt ingen forbedring i depression efter at have spist bærene. Men, på grund af et finurligt metaanalyse, at kombinere alle vores 100 undersøgelser sammen ville vise, hvad forskere kalder en "statistisk signifikant" effekt - hvilket betyder noget, der usandsynligt ville ske tilfældigt - selvom de fleste af de enkelte undersøgelser på egen hånd ikke var statistisk signifikante.

Sammensmeltning af selv et par undersøgelser, der viser en effekt med en større gruppe undersøgelser, der ikke kan ende med et metaanalyseresultat, der ser statistisk signifikant ud-selvom de enkelte undersøgelser varierede en del. Disse typer af resultater udgør, hvad nogle psykologer har kaldt "crud factor" for psykologisk forskning - statistisk signifikante fund, der er støj, ikke reelle effekter, der afspejler noget i den virkelige verden. Eller, sagt ligeud, metaanalyser er et godt redskab for lærde at narre sig med.

Professionelle guildorganisationer inden for områder som psykologi og pædiatri bør tage meget af skylden for udbredelsen af ​​forskningsoverhypning. Sådanne organisationer frigiver talrige, ofte dybt mangelfuld, politiske erklæringer, der basunerer forskningsresultater på et område. Offentligheden indser ofte ikke, at sådanne organisationer fungerer til at markedsføre og fremme et erhverv; de er ikke neutrale, objektive iagttagere af videnskabelig forskning - som ofte offentliggøres, til indkomst, i deres egne tidsskrifter.

Desværre, sådan hvidvaskning af videnskab kan vende tilbage til et område, når påstande med overtryk viser sig at være vildledende. Uærlig overpromotering af samfundsvidenskab kan få offentligheden og domstolene til at blive mere skeptiske over for den. Hvorfor skal skatteyderne finansiere forskning, der er oversolgt affald? Hvorfor skulle medieforbrugerne stole på, hvad forskning siger i dag, hvis de blev brændt af, hvad det sagde i går?

Individuelle lærde og de faglige laug, der repræsenterer dem, kan gøre meget for at løse disse problemer ved at genoverveje slap bevisstandarder, oversalg af svage effekter, og den nuværende mangel på ærlighed på forhånd om metodologiske begrænsninger. I mellemtiden, offentligheden vil gøre godt i at fortsætte med at anvende en sund dosis kritisk tænkning på høje påstande fra pressemeddelelser inden for samfundsvidenskab. Spørg, om størrelsen af ​​effekten er signifikant større end for kartofler på selvmord. Hvis svaret er nej, det er på tide at komme videre.

Denne artikel er genudgivet fra The Conversation under en Creative Commons -licens. Læs den originale artikel.