Eksponering af falske uærlighedsstudier gør mig stolt over at være adfærdsforsker

Historien har meget at anbefale den:psykolog Dan Ariely, forfatter til en bestsellerbog om adfærdsvidenskaben om uærlighed, trækker sin undersøgelse tilbage, fordi dataene var falske. Ikke underligt, at det er blevet opfanget af verdens medier. Buzzfeed erklærede dette som "det seneste slag til det travle felt af adfærdsøkonomi." Psykolog Stuart Ritchie, selv en videnskabsmand, skrev om sagen under overskriften:"Stol aldrig på en videnskabsmand".

Jeg bekymrer mig om disse fortolkninger. Og ikke fordi jeg underviser på en adfærdsvidenskabelig kandidatuddannelse. Jeg er bekymret, fordi overskrifter som denne risikerer at vække anti-videnskabelige følelser på et tidspunkt, hvor troen på eksperter er lav, når betænksomme mennesker papegøjer, at vi lever i en "post-truth-verden", og hvor mistillid til videnskaben forårsager dødsfald.

Men mest af alt, Jeg bekymrer mig om disse fortolkninger, fordi jeg tager den modsatte konklusion fra denne historie. I dette tilfælde, lektionen er, at den videnskabelige proces faktisk fungerede godt.

Sår tvivl om videnskaben

En vigtig og overset detalje er, at den videnskabelige proces afslørede for år tilbage, at resultaterne af papiret ikke holdt. Ved at bruge data leveret af et forsikringsselskab, Arielys undersøgelse hævdede, at folk er mere ærlige i deres rapporter, hvis de underskriver en erklæring om sandfærdighed i begyndelsen af ​​et dokument i stedet for i slutningen af ​​det. Metoden blev vedtaget af IRS, det amerikanske skatteopkrævningsagentur, og mindst et stort forsikringsselskab.

Selvom ingen udtrykte bekymring for bevidst svindel, mange forskerhold havde rapporteret deres mislykkede forsøg på at replikere de indledende undersøgelser. Replikation er vigtig. Fordi videnskab er forankret i sandsynlighed, at observere det samme resultat ved to uafhængige lejligheder gør det langt mindre sandsynligt, at resultatet er et lykketræf.

I 2020, Ariely og hans medforfattere udgav et papir, hvor de selv forsøgte og undlod at replikere de første resultater. På det tidspunkt var det endnu ikke kommet frem, at de oprindelige data var blevet forfalsket. Forfatterne konkluderede, at de første resultater var et lykketræf og titlen opfølgningspapiret:"At underskrive i begyndelsen versus i slutningen mindsker ikke uærlighed."

Et andet slående træk er, at de mislykkede gentagelser blev offentliggjort i et af de bedste almene videnskabelige tidsskrifter. Det er en nylig udvikling, at videnskabsmænd ville bruge deres tid på replikationsundersøgelser - og at toptidsskrifter ville bruge dyrebare spaltecentimeter til at udgive dem - og følger en række statistiske undersøgelser, der sår tvivl om strengheden af ​​offentliggjort videnskab.

Først var den provokerende datasimuleringsundersøgelse, der antydede, at mere end halvdelen af ​​offentliggjorte resultater af videnskabelig forskning er falske. Denne konstatering stammer fra følgende tre funktioner:

Så var der Many Labs-replikeringsprojektet. Det fandt ud af, at mere end halvdelen af ​​resultaterne offentliggjort i toppsykologitidsskrifter ikke kunne gentages.

Afsløring af falske resultater

Nogle indsigtsfulde bidrag kommer fra adfærdsvidenskab, som omfatter flere discipliner, der ser på menneskelig adfærd og interaktion, og arbejder i skæringspunktet mellem statistik, økonomi og psykologi. En af disse indsigter var, at forskere kan offentliggøre falske resultater selv uden at vide det.

For at få en fornemmelse af dette, du skal først vide, at det videnskabelige samfund vurderer, at et resultat giver bevis, hvis resultatet passerer en tærskel. Denne tærskel måles som en p-værdi, hvor p står for sandsynlighed. Lavere p-værdier indikerer mere pålidelige resultater. Et resultat overskrider tærsklen til pålidelige beviser eller, på videnskabens sprog, er statistisk signifikant, hvis dens p-værdi er under en tærskel, for eksempel, s <0,05.

Forsætligt eller på anden måde, forskere øger chancerne for at opnå statistisk signifikante resultater ved at engagere sig i tvivlsom forskningspraksis. I en undersøgelse offentliggjort i 2012, et flertal af psykologer rapporterede, at de tester deres teori ved at måle mere end ét udfald og derefter kun rapporterer resultaterne på det udfald, der opnår statistisk signifikans. Formentlig har de indrømmet denne adfærd, fordi de ikke erkendte, at det øger chancen for at drage en forkert konklusion.

Uri Simonsohn, Leif Nelson og Joe Simmons, en trio af adfærdsforskere, der rutinemæssigt beskrives som "datadetektiver, " udtænkt en test for at fastslå, om en konklusion sandsynligvis stammer fra tvivlsom forskningspraksis. Testen undersøger, om beviserne, der understøtter en påstand, mistænkeligt er klynget lige under tærsklen for statistisk signifikans.

Det var denne test, der afkræftede ideen om "power posing" - den meget omtalte påstand om, at du kan præstere bedre i stressede situationer, hvis du indtager en assertiv fysisk kropsholdning, såsom hænder på hofterne.

Nu har de tre datadetektiver gjort det igen. Det var på deres blog, at de skarpe og opsigtsvækkende fakta i Arielys uærlighedsundersøgelse blev afsløret. I modsætning til Buzzfeeds påstand om, at denne sag udgør et slag for adfærdsøkonomien, det viser faktisk, hvordan adfærdsvidenskab har fået os til at udrydde falske resultater. Afsløre det dårlige æble, og de fascinerende teknikker, der bruges til at gøre det, faktisk udgør en sejr for adfærdsforskere.

Denne artikel er genudgivet fra The Conversation under en Creative Commons-licens. Læs den originale artikel.