10 tegn på, at undersøgelse er falsk

Spis chokolade, tabe sig! I marts 2015 gav resultaterne af en ny undersøgelse af forskere i Tyskland bølger med påstanden om, at chokolade kunne være en del af et slankende regime. Studiet, dirigeret af en Johannes Bohannon, forskningsdirektør for nonprofit Institute of Diet and Health, viste, at tilføjelse af chokolade til en kulhydratfattig kost faktisk øgede vægttabet.

Det eneste problem var, at undersøgelsen var fuldstændig falsk. Johannes Bohannon var faktisk en videnskabsjournalist ved navn John Bohannon. Bohannon fremstillede undersøgelsen for at demonstrere, hvor lidt faktatjekning medierne engagerer sig i, når det kommer til at rapportere om videnskab [kilde:Hiltzik].

Mens "undersøgelsen" sprang i tabloidmedierne, få, hvis nogen velrenommerede forretninger dækkede det. Måske er det fordi de genkendte de tegn på et falsk studie. Lad os finde ud af, hvad det er.

1. Det kan ikke gentages
2. Det er sandsynligt, Ikke tilgængelig
3. Prøverne er uklare
4. Noget mangler
5. Rovdyrsforlag
6. Det beviser et point (følg pengene)
7. Det er selvbedømt
8. Batterierne er ved at løbe tør
9. Det er for nyt
10. Det er en sej historie

10:Det kan ikke gentages

Alle foretager undersøgelser. Når du ser babyer tabe deres sippy kopper fra deres højstole igen og igen, de deltager i et af de mest konsekvente eksperimenter i deres liv. Formålet med deres undersøgelse? Tyngdekraft.

Uanset hvor mange gange vi taber kopper, de falder altid til jorden. Det faktum, at dette eksperiment kan gentages uendeligt og af alle med samme resultat, er et af de grundlæggende principper for enhver undersøgelse. Uanset hvor overbevisende resultaterne af en undersøgelse måtte være, hvis det ikke kan gentages af jævnaldrende forskere, det betyder, at det ikke kan valideres.

For at påpege dette problem, Center for Open Science koordinerede 270 forskere i et massivt projekt for at gengive resultaterne fra 100 publicerede undersøgelser inden for psykologi. I 2015, efter mange års arbejde, centret rapporterede, at mere end halvdelen af ​​undersøgelserne ikke kunne gentages, fordi beviserne indsamlet for dem ikke var så stærke som oprindeligt påstået.

En af de undersøgelser, de testede, for eksempel, blev designet til at afgøre, om mænd har sværere ved at skelne seksuelle tegn fra venlighed. Efter strukturen i den oprindelige undersøgelse, Center for Open Science viste testpersoner en række fotos af kvinder, der udviste forskellige ansigtsudtryk.

Mens den oprindelige undersøgelse fandt ud af, at Ja, mænd var ninnies ved at sømme sporene, opfølgningstesten af ​​undersøgelsen kunne ikke replikere disse resultater. Det er ikke klart, om dette var på grund af kulturelle forskelle mellem det første og det andet studie (en undersøgelse blev udført i Storbritannien, den anden i USA) eller den tid, der gik mellem undersøgelser [kilde:Firger]. På den ene eller anden måde, et fund, der ikke kan gengives, er ikke et for aldre.

9:Det er sandsynligt, Ikke tilgængelig

Meget seriøse mennesker i hvide laboratoriefrakker, der bukker pensivt over reagensglas - det er det billede, man ofte tænker på, når vi tænker på en videnskabelig undersøgelse. Men det er bare en type undersøgelse - et laboratorieforsøg.

En anden form for undersøgelse kaldes "observationel." Det er da forskere finder en gruppe testpersoner, stille dem mange spørgsmål, registrere svarene og derefter "data mine" resultaterne for at se, hvad de finder.

Der var engang, observationsundersøgelser antydede, at det at have en "Type A" personlighed sætter dig i større risiko for at få et hjerteanfald. Men opfølgende randomiserede kliniske forsøg kunne ikke gentage disse resultater, og det er nu kendt, at det oprindelige fund var fuldstændig forkert. Hvordan skete dette?

Observationsstudier kan, selvfølgelig, være enormt nyttig og oplysende. Men der er et potentiale for vildledende resultater. Et problem er, at du kan få statistisk signifikante resultater ved en tilfældighed omkring 5 procent af tiden. Så hvis du stiller nok spørgsmål (og nogle gange kan disse undersøgelser indeholde tusindvis af spørgsmål), dataene kan synes at give noget vigtigt. Men ved efterfølgende gennemgang, eller forsøger at gentage undersøgelsen, resultaterne er muligvis ikke de samme [kilde:Miller og Young].

8:Prøverne er uklare

Nyheder:En ny undersøgelse afslører, at den måde, hvorpå du mistede din jomfruelighed, vil have en vigtig indflydelse på, hvordan du oplever sex for altid.

Overraskende resultater fra ulige forskningsundersøgelser er et fast element i nyhedscyklussen i disse dage. Men hvis du kan få fingre i selve undersøgelsen, projektets design kan overraske dig endnu mere end resultaterne.

Sagen ved det jomfruelighedstudie fra 2013 er, at dets emner var ekstremt homogene. Faktisk, det viser sig, de er normalt, når det kommer til studier i psykologi og samfundsvidenskab.

Da mange af disse undersøgelser udføres af akademikere, den typiske prøvepopulation for sådan forskning er - overraskelse, overraskelse - universitetsstuderende. Det gør dem WEIRD - et akronym for Western, Uddannet og fra industrialiseret, Rige og demokratiske lande. Med andre ord, ikke ligefrem repræsentativ for det globale samfund som helhed.

At gøre tingene værre, i jomfruelighedstudiet, forskere udelukkede mennesker, der havde oplevet voldelige første møder, såvel som alle, der havde oplevet andet end heteroseksuelt samkvem [kilde:Brookshire].

Så næste gang du hører den sidste nyhed om endnu et forbløffende fund om menneskelig adfærd og erfaring, tag det med et gran salt, mens du undrer dig over, hvem der præcist blev undersøgt.

7:Der mangler noget

Sig, at du gennemfører et forsøg med et nyt lægemiddel for at forhindre slagtilfælde. Du har 20 mus:10 får stoffet og de resterende 10 i din kontrolgruppe. Det er en lille studiegruppe, virkelig lille, men så er dit budget lille, og, godt, alle gør det på denne måde i disse dage.

Syv af dine testmus klarer sig rigtig godt, men desværre dør tre af dem af massive slag. Hvad laver du? Enkel. Bare lad dem være ude af resultaterne. Ja, det er rigtigt, når du laver dine diagrammer og grafer, bare nævn ikke de afdøde gnavere. Alle gør det på denne måde i disse dage.

Det skete virkelig. Rent faktisk, det viser sig, at der virkelig sker hele tiden inden for dyreforsøg. Heldigvis i dette særlige tilfælde, videnskabsmanden, der blev bedt om at gennemgå undersøgelsen, lod det ikke passere. De tre døde mus, han påpegede, var afgørende elementer i undersøgelsen. Ja, de viste, at det nye lægemiddel kunne være skadeligt frem for nyttigt.

Den videnskabsmand, Ulrich Dirnagl, og en kollega ved navn Malcolm MacLeod har slået alarm om de slappe standarder, der findes i mange dyreforsøgsundersøgelser [kilde:Couzin-Frankel]. Lad os håbe, at deres budskab kommer igennem.

6:Rovdyrsforlag

Der er du, en ung læge, der får din karriere i gang, når du får en e -mail fra "The Journal of Clinical Case Reports", hvor du bliver bedt om at indsende nogle artikler. Som det sker, du har nogle interessante sager at rapportere, så du skriver dem op og sender dem afsted. Til din glæde, de accepteres. En god tilføjelse til dit CV.

Så kommer regningen - journalen siger, at du skylder dem $ 2, 900! Chokeret, du skriver tilbage for at sige, at du aldrig har hørt om at blive debiteret for at udgive, og at du ikke har tænkt dig at betale. De offentliggør dine artikler alligevel, tilbyder at reducere din regning til $ 2, 600. Efter et års strid, tidsskriftet accepterer endelig at "tilgive" din såkaldte gæld.

Velkommen til den modige nye verden af ​​rovdyrsudgivelse, en uventet konsekvens af open-access-bevægelsen for at gøre videnskabelige fund mere bredt tilgængelige. Jeffrey Beall, en forskningsbibliotekar, har ført journal over publikationer, han anser for rovdyr. Han tror, ​​der kan være så mange som 4, 000 af dem derude-det ville være 25 procent af alle tidsskrifter med åben adgang.

Det er nok at sige, at rovdriftsudgivere er mere bekymrede over deres fortjenstmargen end videnskabelig stringens. Hvis forskere kan betale, de kan blive offentliggjort, uanset kvaliteten af ​​deres arbejde. Som resultat, antallet af tvivlsomme undersøgelser, der blev offentliggjort, er mangedoblet. Medmindre du er ekspert på et givet område, det kan være svært at sige, hvilken videnskab der er pålidelig, og hvilken der er uønsket [kilde:Kolata].

Berømt, at komme videre i den akademiske verden, lærde skal udgive eller gå til grunde. Ikke underligt, at rovdriftsudgivelse blomstrer i en sådan atmosfære. Køber (og læser) pas på!

5:Det beviser et point (følg pengene)

En dag beslutter du dig for at prøve et nyt tyggegummimærke, men kort tid efter at du fik den i munden, bryder du ud i nældefeber. På skadestuen fortæller lægen, at blodprøver afslører en allergi over for en ingrediens i det nye tyggegummi. Men lad os sige, at du er mærkeligt stædig, og lad os sige, at du virkelig kunne lide det tyggegummi, også. Åh, og du beslutter dig for at besøge ni læger mere.

Otte af ni af dem er enige med den første. Men en enlig læge siger nej, det er ikke tyggegummi, det er bare et tilfælde. Faktisk, han tror, ​​du kan være allergisk over for tygning, eller gå, eller gå og tygge på samme tid. Du kan lide hans svar, og du kan lide hans smarte kontor, men du begynder at spekulere på, hvordan han betalte for det.

Når man prøver at finde ud af, om en undersøgelse er falsk, noget sund fornuft er nyttigt. Hvis 99,9 procent af eksperterne på et givet område siger en ting, og en håndfuld andre er uenige, se på, hvor skeptikernes finansiering kommer fra. Med andre ord, følge pengene.

Willie Soon er en af ​​de håndfuld forskere, der benægter, at menneskelig aktivitet har noget at gøre med klimaforandringer. Det faktum, at han arbejder på Harvard-Smithsonian Center for Astrophysics, giver hans meninger en vis prestige. Imidlertid, Center for Astrofysik har et armlængdeforhold med Harvard, og forskere er der ikke løn og modtager ingen midler fra universitetet.

Faktisk, det viser sig, at hovedparten af ​​Soon's finansiering er kommet fra kilder som Exxon Mobil og American Petroleum Institute, blandt andre i energisektoren. Med andre ord, de mennesker, der betaler for Soon's forskning, er de mennesker, der har investeret mest i at modbevise menneskeligt ansvar for klimaændringer. Mens Soon insisterer på, at kilden til hans finansiering ikke har nogen betydning for hans forskning, optikken er ikke til hans fordel [kilde:Goldberg].

4:Det er selvbedømt

Peer review:Det er grundlaget for velrenommeret videnskabelig udgivelse. Tanken er, at hvis en undersøgelse er blevet omhyggeligt undersøgt og godkendt af en anden forsker inden for samme område, så er det gyldigt nok til at udgive i et respekteret tidsskrift. Men den idé holder kun, hvis selve peer review -systemet er troværdigt.

Hynung-In Moon, en forsker i lægeplanter ved et universitet i Sydkorea, havde held og lykke med anmeldelserne af de undersøgelser, han udgav i "The Journal of Enzyme Inhibition and Medicinal Chemistry". Bortset fra et par forslag til, hvordan han kan forbedre sine papirer, de blev hurtigt godkendt. Meget hurtigt. Faktisk, peer reviews kom nogle gange tilbage til redaktøren af ​​tidsskriftet inden for 24 timer efter, at han havde sendt dem ud.

Vokser mistroisk, redaktøren spurgte Moon, hvad der foregik. Forskeren galede - de hurtige, godkendende anmeldelser kom fra ingen andre end ham selv. Efter almindelig praksis, tidsskriftet havde bedt Moon om at foreslå nogle potentielle korrekturlæsere. Da han gjorde, han gav dem en kombination af rigtige og fiktive navne med falske kontaktoplysninger, herunder e -mail -adresser, der kom til Moon's indbakke [kilde:Ferguson et al].

Det viser sig, at nogle af de systemer, der er oprettet til gennemgang, har smuthuller som dette, og Moon's eksempel på selvanalyse er ikke en isoleret anomali. Dette efterlader os med muligheden for, at nogle af de peer-reviewed undersøgelser, vi hører om, faktisk kan være peer-less.

3:Batterierne er ved at løbe tør

Neurovidenskabsfeltet er i en spændende fase med kraftfuld ny teknologi, der er i stand til at analysere hjernen med en stadig stigende nøjagtighed. Ved hjælp af scanninger, for eksempel, en række forskellige undersøgelser så på forholdet mellem mental sundhed og unormal hjernevolumen. Mange, faktisk de fleste af dem, fundet en sammenhæng.

Men den overvældende hastighed, hvormed disse undersøgelser blev ved med at bekræfte hinanden, vakte nysgerrighed hos forskeren John Ioannidis. Efter at have analyseret dataene fandt han ud af, at taget sammen, alle disse undersøgelser havde en gennemsnitlig statistisk effekt på 8. Det lyder lavt, og det er. Men hvad betyder det?

Den statistiske effekt af en undersøgelse refererer til størrelsen af ​​de anvendte prøver og hvor store eller små resultaterne var. For massivt at forenkle, hvis du studerer 10, 000 rygere og 10, 000 ikke-rygere og finder ud af, at 50 procent af rygere udviklede lungekræft, mens kun 5 procent af ikke-rygere gjorde, så har dit studie meget høj effekt. Du havde en enorm prøvepopulation, og resultaterne var også enorme.

Men hvis du studerer 10 rygere og 10 ikke-rygere og finder ud af, at to af rygere udviklede lungekræft, og en af ​​ikke-rygere gjorde det også, så har du et ekstremt undermagtigt studie. Prøvestørrelsen er så lille, at forskellen mellem de to grupper er meningsløs [kilde:Yong].

For at være fair, de fleste undersøgelser anklaget for at have lav effekt er ikke så latterligt lave som det fiktive eksempel. Men i de senere år har bekymrede forskere har fløjtet i fløjten om forekomsten af ​​underdrevne undersøgelser. Deres budskab? Det er tid til at tænde!

2:Det er for nyt

Hver anden dag hører vi om en ny undersøgelse, der har fundet vitamin X, Y eller Z forhindrer kræft eller Alzheimers eller autoimmune lidelser, og vi skynder os ud for at købe store mængder af tingene. Inden jeg markerede endnu et trendy supplement, det kan være klogt at læne sig tilbage og vente lidt for at se, om efterfølgende forskning styrker eller afkræfter dens værdi.

Medierne trives med det nyeste og det nyeste. Men når det kommer til videnskab, nyhed er ikke nødvendigvis en god ting. Ofte betyder det bare, at de spændende resultater af en overraskende ny undersøgelse er for nye til endnu ikke at være blevet modbevist. Tjek tilbage om et par år, og se, hvor mange af disse headliner -forskningsresultater har stået tidstesten.

Med hensyn til forskning, meget af det, medierne rapporterer om, er "indledende fund". De første resultater er netop det, initial. De skal verificeres ved flere undersøgelser for at se, om resultaterne kan gengives. Ofte kan de ikke være det - men det er sjældent, når medier rapporterer negative forskningsresultater [kilde:Crowe]. Det er fordi de aldrig er så populære som en spændende ny opdagelse.

1:Det er en sej historie

April 2015 -udgaven af ​​"Nature, "et af de mest prestigefyldte og velrenommerede videnskabelige tidsskrifter i verden, skræmte sit læsertal med de ekstraordinære resultater af en ny undersøgelse. Drager, den sagde, er ikke mytiske produkter fra den førmoderne fantasi, men virkelige skabninger, der har levet i en hvilende fase siden middelalderen. En af de mest bekymrende fund var, at der var tegn på, at disse gamle dyr er på nippet til at vågne.

Udgivelsesdatoen er den indlysende tip-off, at denne artikel var en udførlig aprilsnar-prank. Men på trods af stykkets farciske karakter, det peger på et vigtigt træk ved videnskabsjournalistik - folk kan lide gode historier. Det ved forskere. Selv at få et papir udgivet i et videnskabstidsskrift kan kræve oprettelsen af ​​en "smuk historie" for at forklare resultaterne. Og jo bedre historien er, jo mere sandsynligt er det, at almindelige medier dækker det [kilde:Firger].

Men videnskabelig undersøgelse resulterer ikke altid i gode historier. Faktisk, oftere end ikke, det gør den ikke. Meget vigtig forskning er meget ufattelig. I bedste fald, det kan give os et foreløbigt vindue om en mulig sandhed. Så ofte som ikke, det fortæller os lidt eller slet ingenting. Så når det kommer til videnskab, pas på gode historier, drager eller nej.

Masser mere information

Forfatterens note:10 tegn på, at undersøgelsen er falsk

Jeg er lige så kynisk som den næste person, men den forskning, der kræves til denne artikel, chokerede mig mere end én gang. Som de fleste mennesker, Jeg forbinder videnskab med stringens, så jeg blev ked af at lære om noget af det lutter, slapdash og kompromitteret arbejde, der udføres. Men jeg formoder, at jeg ikke burde være det. Forskere er ikke robotter, der opererer i hermetisk lukkede miljøer. De er lige så underlagt venality og kulturelle tendenser som alle andre. Og i sidste ende kom jeg væk med måske endnu større respekt for en undersøgelsesform, der politiserer sig selv i den grad, videnskaben gør. Der er en masse dårlig videnskab derude, men de mennesker, der blæser i fløjten, er ... forskere!

relaterede artikler

• Sådan fungerer den videnskabelige metode
• 10 fuldstændig indlysende forskningsfund
• Top 10 videnskabelige opdagelser i 2013
• Sådan fungerer Scientific Peer Review
• 10 falske videnskabelige fakta alle kender

Flere store links

• Bealls liste
• Center for åben videnskab
• Ulrich Dernagls blog

Kilder

• Brookshire, Bethany. "Psykologi er RAR." Skifer. 8. maj kl. 2013. (15. september, 2015) http://www.slate.com/articles/health_and_science/science/2013/05/weird_psychology_social_science_researchers_rely_too_much_on_western_college.html
• Knap, Kate. "Upålidelig neurovidenskab? Hvorfor Power Matters." Værgen. 10. april kl. 2013. (18. september, 2015) http://www.theguardian.com/science/sifting-the-evidence/2013/apr/10/unreliable-neuroscience-power-matters
• Couzin-Frankel, Jennifer. "Når musene vildlede." Science Magazine. Vol. 342. 22. november, 2013. (15. september, 2015) https://www.gwern.net/docs/dnb/2013-couzinfrankel.pdf
• Crowe, Kelly. "Det er nyheder, Men er det rigtigt? "CBC News. 5. oktober, 2012. (14. september, 2015) http://www.cbc.ca/news/health/it-s-news-but-is-it-true-1.1282472
• The Economist. "Sådan går videnskaben forkert." 19. oktober kl. 2013. (12. september, 2015) http://www.economist.com/news/leaders/21588069-scientific-research-has-changed-world-now-it-needs-change-itself-how-science-goes-wrong
• Ferguson, Cat et al. "Udgivelse:Peer Review -fidusen." Natur. Vol. 515. Sider 480-482. 26. november kl. 2014. (17. september, 2015) http://www.nature.com/news/publishing-the-peer-review-scam-1.16400
• Firger, Jessica. "Videnskabens reproducerbarhedsproblem." Newsweek. 28. august kl. 2015. (12. september, 2015) http://www.newsweek.com/reproducibility-science-psychology-studies-366744
• Fischer, Douglas. "'Dark Money' Funds Climate Change Denial indsats." Videnskabelig amerikansk. 23. december kl. 2013. (17. september, 2015) http://www.scientificamerican.com/article/dark-money-funds-climate-change-denial-effort/
• Goldenberg, Suzanne. "Arbejde med fremtrædende klimaændringer blev finansieret af energiindustrien." Værgen. 21. februar kl. 2015. (17. september, 2015) http://www.theguardian.com/environment/2015/feb/21/climate-change-denier-willie-soon-funded-energy-industry
• Hamilton, Andrew J. et al. "Her er drager." Natur. Vol. 520. 2. april kl. 2015. (14. september, 2015) http://water-pire.uci.edu/wp-content/uploads/2015/04/Hamilton_Dragons.pdf
• Hiltzik, Michael. "En falsk undersøgelse af chokolade og kostvaner - og medierne slugte det hele." Los Angeles Times. 29. maj kl. 2015. (14. september, 2015) http://www.latimes.com/business/hiltzik/la-fi-mh-a-bogus-study-of-chocolate-20150529-column.html
• Horowitz, Evan. "Undersøgelser viser, at mange undersøgelser er falske." Boston Globe. 1. juli kl. 2014. https://www.bostonglobe.com/lifestyle/2014/07/01/studies-show-many-studies-are-false/PP2NO6lKd7HMyTZa1iCHGP/story.html
• Ioannidis, John P.A. "Hvorfor er de fleste publicerede forskningsresultater falske." PLoS Med. Vol. 2, Nr. 8. 30. august, 2005. (12. september, 2015) http://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124
• Kolata, Gina. "Videnskabelige artikler accepteres (også personlige kontroller)." New York Times. 7. april kl. 2013. (17. september, 2015) http://www.nytimes.com/2013/04/08/health/for-scientists-an-exploding-world-of-pseudo-academia.html
• Marcus, Adam og Ivan Oransky. "Få bogusstudierne ud af videnskaben." The Wall Street Journal. 19. august kl. 2015. (14. september, 2015) http://www.wsj.com/articles/getting-the-bogus-studies-out-of-science-1440024409
• Miller, Henry I. "Problemet med 'videnskabelig' forskning i dag:En masse, der er udgivet, er uønsket." Forbes. 8. januar, 2014. (12. september, 2015) http://www.forbes.com/sites/henrymiller/2014/01/08/the-trouble-with-scientific-research-today-a-lot-thats-published-is-junk/
• Yong, Ed. "Neurovidenskab Cannae Do It Cap'n, Det har ikke magten. "National Geographic Phenomena. 10. april, 2013. (18. september, 2015) http://phenomena.nationalgeographic.com/2013/04/10/neuroscience-cannae-do-it-capn-it-doesnt-have-the-power/