Videnskab
 science >> Videnskab >  >> Biologi

10 typer studieforstyrrelser

En patient udfylder et spørgeskema og en søvndagbog, før han gennemgår en polysomnografi på et søvncenter i Schweiz. Hvilke fordomme skal forskere være opmærksom på, når de foretager undersøgelser? AMELIE-BENOIST /BSIP /Getty Images

Arytmi, en uregelmæssig rytme i hjertet, er almindelig under og kort efter et hjerteanfald og kan føre til tidlig død. Det var derfor, da antiarytmi-lægemidler blev tilgængelige i begyndelsen af ​​1980'erne, de virkede som et stort livreddende gennembrud [kilde:Freedman].

Problemet, selvom, var, at selvom småskala forsøg viste, at stofferne stoppede arytmi, stofferne reddede faktisk ikke liv. I stedet, som større undersøgelser viste, patienter, der modtog sådanne behandlinger, var en tredjedel mindre sandsynligvis overleve. Forskere havde fokuseret på at stoppe arytmi som et mål for effektivitet snarere end på det problem, de forsøgte at løse, som forhindrede dødsfald [kilder:Freedman, Hampton].

Hvorfor tog forskerne fejl? Som Discover magazine -forfatteren David H. Freedman forklarede i en artikel fra 2010, de forkerte konklusioner om antiarytmi-lægemidler er et eksempel på noget, der kaldes gadebelysningseffekt . Effekten er opkaldt efter den ordsproglige berusede, der forklarer, at han mistede sin tegnebog på tværs af gaden, men han leder efter gadelyset efter det, fordi lyset er bedre der. Tilsvarende i videnskab, der er en tendens til at se på og give større vægt til fænomener, der er lettere at måle - hvilket nogle gange kan resultere i en forkert konklusion.

Men gadebelysningseffekten er kun en af ​​mange former for bias, der kan inficere videnskabelige undersøgelser og føre dem på vildspor. Forskere anser bias for at være et så stort problem, at de seneste år har det er blevet et genstand for forskning selv, hvor forskere bruger statistisk analyse og andre metoder til at finde ud af, hvor ofte det sker og hvorfor.

I denne artikel, vi ser på 10 af de mange former for bias, der kan påvirke resultaterne af videnskabelige og samfundsvidenskabelige undersøgelser, startende med en velkendt.

Indhold
  1. Bekræftelse
  2. Prøveudtagning
  3. Selection Bias
  4. Kanalisering af bias
  5. Spørgsmål-ordre bias
  6. Interviewer Bias
  7. Recall Bias
  8. Indrømmelsesbias
  9. Publikation Bias
  10. Filskuffeforskydning

10:Bekræftelsesforstyrrelse

Bekræftelsesforstyrrelse opstår, når en forsker tager hypotesen, som han eller hun starter med ("marihuana er gavnligt/skadeligt") og former undersøgelsesmetodikken eller resultaterne for at bekræfte denne forudsætning, om det faktisk er berettiget. krisanapong detraphiphat/Getty Images

Tilbage i 1903, få år efter opdagelsen af ​​røntgenstråler af tyske forskere, en fransk videnskabsmand ved navn René Blondlot meddelte, at han havde opdaget endnu en tidligere ukendt form for stråling-N-stråler. De kunne kun observeres ved hjælp af perifert syn, og ses som en corona, da elektricitet blev afladet fra krystaller. Til sidst, Blondlots forskning blev tilbagevist af en amerikansk videnskabsmand, Robert Wood, der besøgte franskmandens laboratorium og fandt ud af, at Blondot stadig observerede N-stråler, selv efter at Wood i al hemmelighed fjernede krystallen under et af forsøgene.

Men efter det, der skete noget mærkeligt. Årevis, andre franske forskere fortsatte med at offentliggøre artikler, der beskriver deres observationer af N-stråler, som om de faktisk eksisterede. Måske af nationalistisk stolthed, Franske forskere ville se N-stråler, og det gjorde de [kilder:Lee, Simon].

Disse N-ray-fund var et ekstremt eksempel på en af ​​de enkleste og mest anerkendte årsager til, at undersøgelser kan gå galt- bekræftelsesforstyrrelse . Det er, når en forsker tager hypotesen om, at han eller hun starter med ("marihuana er gavnligt/skadeligt") og former studiemetodikken eller analysen af ​​dataene på en måde, der bekræfter den oprindelige forudsætning, om det faktisk er berettiget eller ej [kilde:Sarniak]. Lægfolk er også bytte for konfirmationsbias. Hvis de støtter (eller foragter) en siddende præsident i USA, for eksempel, de har en tendens til at lede efter oplysninger, der bekræfter deres opfattelse og ser bort fra alt, der afviser det.

9:Sampling Bias

Takket være en prøveudtagning, the Literary Digest forudsagde forkert, at Alf Landon (højre) ville besejre Franklin D. Roosevelt (tv) i præsidentvalget i 1936. Keystone Se firma/FPG/Arkivfotos/Getty Images

Forskere, der har foretaget metaanalyser af videnskabelig forskning, har fundet ud af, at tidligt småskalaundersøgelser-dem der ofte citeres i andet arbejde-overvurderer ofte deres resultater [kilde:Fanelli, et al.].

Det kan ske pga prøveudtagning , hvor forskere, der foretager små undersøgelser, baserer deres fund på en gruppe, der ikke nødvendigvis er repræsentativ for den større befolkning. Universiteter bruger ofte studerende til deres studier, men resultaterne for denne gruppe projekterer ikke nødvendigvis til den bredere befolkning.

Det er et problem, der ses i både medicinstudier og samfundsvidenskabelig forskning. For eksempel, hvis en statsvidenskabelig forsker, der studerer holdninger til våbenkontrol, foretager undersøgelser i et område, hvor de fleste er tilhængere af andet ændringsforslag, der vil skæve resultaterne på en måde, der ikke nødvendigvis afspejler synspunkterne fra den større amerikanske befolkning.

Men stikprøveforskydning kan også forekomme i større undersøgelser. Et berømt eksempel på stikprøveforskydning fandt sted under den amerikanske præsidentkampagne i 1936, da Literary Digest foretog en mailundersøgelse blandt 2,4 millioner mennesker og forudsagde - forkert - at republikaneren Alf Landon let ville slå den siddende demokrat Franklin Roosevelt. Problemet var, at bladet brugte telefonbøger, chaufførers registreringer og country club -medlemskaber for at finde folk til at stemme - en metode, der havde en tendens til at nå relativt velhavende vælgere (biler og telefoner var luksusartikler dengang), frem for de fattigere, blandt hvem Roosevelt var populær. De fejlagtige resultater fremskyndede slutningen af ​​publikationen [kilde:Oxford Math Center].

8:Selection Bias

Du kan have selektionsbias, hvis du ikke kontrollerer alle variabler i dit studie. Morsa Images/Getty Images

Hvordan afgør forskere, om et nyt lægemiddel vil helbrede eller hjælpe en bestemt sygdom? Normalt med en undersøgelse, der involverede to grupper mennesker. For eksempel, hvis forskerne studerer effektiviteten af ​​et nyt antihistamin på allergikere, de ville give forsøgsmedicinen til den ene gruppe patienter og en placebo (sukkerpille) til den anden gruppe, kaldet kontrolgruppe . Ingen af ​​grupperne formodes at vide, om de har fået medicinen, og undersøgelsesdeltagerne er tilfældigt tildelt hver gruppe.

Dette kaldes en randomiseret dobbeltblind placebokontrolundersøgelse og betragtes som guldstandarden for kliniske forsøg. "Dobbeltblind" refererer til det faktum, at hverken forskerne eller deltagerne ved, hvilke allergipatienter der er i hvilken gruppe, indtil efter forsøget er slut.

Der er flere grunde til at gøre dette, men en er at undgå udvælgelsesbias . Lad os sige, at du vil undersøge, om mennesker, der arbejder om natten, er mere tilbøjelige til at udvikle hovedpine. Så, du rekrutterer en gruppe mennesker, der arbejder om natten, og en anden gruppe, der arbejder i løbet af dagen, og sammenlign dem derefter. Dine resultater viser, at de mennesker, der arbejder om natten, er mere tilbøjelige til at have ondt i templerne.

Men det betyder ikke nødvendigvis, at natarbejde er årsagen, fordi det kan være, at folk, der arbejder om natten, har en tendens til at være fattigere, har mere usund kost eller mere stress. Sådanne faktorer kan forstyrre dine resultater, medmindre du kunne sikre dig, at de to grupper er ens på alle andre måder undtagen deres tidsplaner [kilder:Institute for Work and Health, CIRT].

7:Kanalbias

I en undersøgelse, en håndkirurg kunne være mere tilbøjelig til at vælge den yngre, sundere patienter til at få en operation og lade de ældre patienter være ude af den, hvilket kunne skæve resultaterne af, om operationen er vellykket for alle. Dette kaldes kanalisering af bias. Cultura RM Exclusive/KaPe Schmidt/Getty Images

Kanalisering af bias opstår, når en patients prognose eller sygdomsgrad påvirker, hvilken gruppe han eller hun bliver sat i i et studie. Det er et særligt problem i ikke -randomiserede medicinske forsøg, dem, hvor læger vælger, hvilke patienter der skal modtage det lægemiddel eller den kirurgiske procedure, der skal evalueres.

Det er ikke svært at finde ud af, hvorfor det sker, fordi læger, trods alt, generelt ønsker at hjælpe de mennesker, de behandler, og er uddannet til at afveje risici kontra fordelene ved en behandling.

Lad os se på et hypotetisk eksempel på en undersøgelse, der har til formål at evaluere effektiviteten af ​​en bestemt kirurgisk procedure på hånden. Kirurger er måske mere tilbøjelige til at vælge yngre, sundere patienter til at få operationen, fordi de har lavere risiko for komplikationer bagefter, og mere et behov for at have fuld håndfunktion.

På tur, de er måske mindre tilbøjelige til at udføre det på ældre patienter, der står over for større postoperative risici og ikke behøver at have den samme grad af håndfunktion, fordi de ikke længere arbejder. Hvis forskere ikke er forsigtige, gruppen, der får operationen i undersøgelsen, vil bestå af yngre patienter, og den gruppe, der ikke gør det, vil for det meste være ældre. Det kunne give et meget andet resultat, end hvis de to grupper ellers var identiske [kilde:Pannucci og Wilkins].

6:Spørgsmål-rækkefølge bias

En forsker spørger to kvinder om deres holdninger til oprettelsen af ​​en statslig sundhedstjeneste i England i 1940'erne. Ordren spørgsmål stilles kan påvirke de modtagne svar. Hulton-Deutsch Collection/CORBIS/Corbis via Getty Images

Rækkefølgen, hvorpå der stilles spørgsmål i en undersøgelse eller undersøgelse, kan påvirke de svar, der gives. Det er fordi den menneskelige hjerne har en tendens til at organisere information i mønstre. De tidligere spørgsmål - især dem, der kommer lige før en bestemt forespørgsel - kan give oplysninger, som emner bruger som kontekst i formuleringen af ​​deres efterfølgende svar, eller påvirke deres tanker, følelser og holdninger. Den effekt kaldes priming [kilder:Pew, Sarniak].

Pew Research gav dette eksempel fra en meningsmåling i december 2008:"Da folk blev spurgt 'Alt i alt, er du tilfreds eller utilfreds med den måde, det går på i dette land i dag? ' umiddelbart efter at være blevet spurgt 'Kan du godkende eller afvise den måde, George W. Bush håndterer sit job som præsident?'; 88 procent sagde, at de var utilfredse sammenlignet med kun 78 procent uden konteksten i det foregående spørgsmål. "

Et andet eksempel på spørgsmål-rækkefølge bias-effekten kommer fra General Social Survey, en større langsigtet undersøgelse af amerikanske holdninger. I 1984, GSS -deltagere blev bedt om at identificere de tre vigtigste kvaliteter for et barn at have, og givet et kort med en kvalitetsliste. Da "ærlig" var højt på listen, det blev valgt af 66 procent af respondenterne. Men da det nærmede sig slutningen, kun 48 procent af folk valgte det som en af ​​deres top tre. Et lignende mønster blev set med andre kvaliteter [kilde:Henning].

5:Interviewer Bias

Interviewer -bias kan forekomme i medicinske undersøgelser, når intervieweren kender forskerens sundhedsstatus, før han spørger hende. GARO/Getty Images

Forskere skal ikke kun være forsigtige med, hvem de vælger at være i grupper i studier, men de skal også bekymre sig om, hvordan de beder om, registrere og fortolke de data, de får fra disse emner. Interviewer bias , som dette problem kaldes, er mere et problem i medicinske undersøgelser, når intervieweren kender forskerens sundhedsstatus, før han eller hun spørger ham.

En artikel i medicinsk tidsskrift fra 2010 om, hvordan man identificerer og undgår skævhed, citerer det hypotetiske eksempel på en undersøgelse, der forsøger at identificere risikofaktorer for Buergers sygdom, en sjælden lidelse, hvor arterier og vener i arme og ben bliver hævede og betændte. Hvis intervieweren allerede ved, at et forskningsemne har sygdommen, han eller hun vil sandsynligvis undersøge mere intensivt for kendte risikofaktorer, som at ryge. Så, intervieweren kan spørge folk i risikogruppen, "Er du sikker på, at du aldrig har røget? Aldrig? Ikke engang?" - mens du ikke udsatte patienter i kontrolgruppen for den slags spørgsmål [kilde:Pannucci og Wilkins].

En interviewer kan også forårsage fejlagtige resultater i en undersøgelse ved at give emner non-verbale tegn, når de stiller spørgsmål, f.eks. med fagter eller ansigtsudtryk, eller stemmetone [kilde:Delgado, et al.].

4:Recall Bias

En mand hjælper et barn med autisme til at male i Abidjan, Elfenbenskysten. Forældre til børn med autisme husker sandsynligvis, at deres barn blev immuniseret, før de viste tegn på autisme og skabte en forbindelse, selvom det er forkert - et eksempel på tilbagekaldelsesforstyrrelser SIA KAMBOU/AFP/Getty Images

I undersøgelser, hvor folk bliver stillet spørgsmålstegn ved noget, der skete i fortiden, deres erindringer kan blive påvirket af den aktuelle virkelighed. Husk tilbøjelighed , som dette fænomen er kendt, kan være et stort problem, når forskere undersøger, hvilke faktorer der kunne have ført til en sundhedstilstand, og interviews er den vigtigste informationskilde. For eksempel, da der er en udbredt-omend ubegrundet-tro på, at autisme på en eller anden måde skyldes vaccinen mod mæslinger-fåresyge-røde hunde (MMR), forældre til børn på autismespektret er mere tilbøjelige til at huske, at deres barn blev immuniseret, før det viste tegn på autisme, og tegne en forbindelse mellem de to begivenheder [kilde:Pannucci og Wilkins].

Tilsvarende mødre til børn med fødselsdefekter kan være mere tilbøjelige til at huske medicin, de tog under graviditeten end mødre til fuldt udviklede børn. En undersøgelse viste også, at piloter, der vidste, at de havde været udsat for herbicidet Agent Orange, havde en større tendens til at huske hududslæt, som de oplevede året efter eksponering [kilde:Boston College].

3:Acquiescence Bias

Folk ønsker at blive betragtet som sympatiske, så hvis du spørger om et kontroversielt emne, spørgsmålene skal indrammes på en måde, der tyder på, at alle svar er acceptable. asiseeit/Getty Images

Dette er en anden bias, der kan forekomme ved samfundsvidenskabelige undersøgelser. Folk vil være behagelige, så de er mere tilbøjelige til at svare bekræftende på et "ja/nej" eller "enig/uenig" spørgsmål-især hvis de er mindre uddannede eller har færre oplysninger. En måde at komme uden om denne bias på er at bede deltagerne om at vælge mellem to udsagn ( tvangsvalgformatet ) i stedet for at de er enige eller uenige i en erklæring. De to udsagn ville give to forskellige synspunkter på et emne.

Og udover at være behagelig, respondenterne i undersøgelsen ønsker også at blive set som sympatiske. "Forskning har vist, at respondenterne undervurderer alkohol- og stofbrug, skatteunddragelse og racemæssig skævhed; de kan også overvurdere kirkedeltagelse, velgørende bidrag og sandsynligheden for, at de vil stemme ved et valg, "bemærker Pew Research. Derfor, spørgsmålene skal indrammes på en måde, der giver deltagerne et "out" for at indrømme mindre end ønskelig adfærd. Så, et spørgsmål om afstemning kan formuleres som:"I præsidentvalget i 2012 mellem Barack Obama og Mitt Romney, opstod der ting, der forhindrede dig i at stemme, eller stemte du tilfældigt? "

2:Publikationsbias

Tidsskrifter har en præference for positive resultater i undersøgelser, hvilket kan hindre, om andre former for undersøgelser bliver offentliggjort. Epoxydude/Getty Images

En almindelig type bias stammer fra en ubehagelig virkelighed i den videnskabelige kultur. Forskere har et konstant behov for at offentliggøre artikler i tidsskrifter, for at opretholde deres omdømme og stige i den akademiske verden. At publicerings-eller-forgæves mentalitet kan have indflydelse på resultaterne af hypoteser, fordi som en kritiker bemærker, akademia har en tendens til at bias mod statistisk signifikant, "positive" resultater [kilde:van Hilten].

Ja, metaanalyser viser, at tidsskrifter er meget mere tilbøjelige til at offentliggøre undersøgelser, der rapporterer et statistisk signifikant positivt resultat end dem, der ikke gør det. Publikationsbias er stærkere på nogle områder end andre; en undersøgelse fra 2010 viste, at papirer inden for samfundsvidenskaberne har 2,3 gange større sandsynlighed for at vise positive resultater end artikler inden for de fysiske videnskaber [kilde:Fanelli].

Som Ian Roberts, professor i epidemiologi og folkesundhed ved London School of Hygiene and Tropical Medicine, bemærket i et essay fra 2015, kliniske forsøg, der viser, at en behandling virker, er meget mere tilbøjelige til at blive offentliggjort end dem, der viser, at den ikke har nogen fordel eller endda skadelig.

1:Filskuffebias

På bagsiden, forskere kan henvise negative eller neutrale fund fra kliniske forsøg til en arkivskuffe. blackred/Getty Images

På nogle måder, dette er bagsiden af ​​publikationsbias. Negative resultater fra en undersøgelse bliver skubbet ind i en metaforisk filskuffe i stedet for at blive offentliggjort. Kritikere ser det som et særligt problem, når det kommer til undersøgelser af nye lægemidler, som i disse dage ofte er sponsoreret af de virksomheder, der udviklede dem [kilde:Pannucci og Wilkins].

Fil-skuffe bias kan være betydningsfuld. En undersøgelse, der blev offentliggjort i New England Journal of Medicine i 2008, sammenlignede resultaterne af offentliggjorte undersøgelser af antidepressiva med data fra et amerikansk Food and Drug Administration -forskningsregister, der omfattede upublicerede oplysninger. Det fandt ud af, at 94 procent af de offentliggjorte undersøgelser rapporterede, at lægemidler havde positive effekter. Men da de upublicerede undersøgelser blev inkluderet, antallet med positive resultater faldt til 51 procent [kilde:Turner, et al.].

I et forsøg på at få mere information til det offentlige område, Kongressen vedtog i 2007 en lov, der krævede, at forskere rapporterede resultaterne af mange menneskelige undersøgelser af eksperimentelle behandlinger til ClinicalTrials.gov. I 2016, den amerikanske fødevare- og lægemiddeladministration styrket reglerne, kræver mere grundig rapportering af kliniske forsøg herunder medicin og udstyr, der blev undersøgt, men aldrig blev bragt på markedet [kilde:Piller].

Men nogle kritikere bekymrer sig for, at lovene ikke vil have mange tænder, da der ikke er en stigning i håndhævelsesbemandingen.

Masser mere information

Forfatterens note:10 typer studieforstyrrelser

Denne opgave var interessant for mig, siden jeg gennem årene ofte har været nødt til at skrive artikler baseret på videnskabelig forskning. Journalister, Jeg tror, nødt til at undgå fristelsen til at antage, at den seneste publicerede undersøgelse skal være det endelige ord om ethvert emne.

relaterede artikler

  • 10 tips til at fortælle fakta fra fiktion
  • 10 Helt oplagte forskningsundersøgelser
  • 10 undersøgelser, der forbinder fuldstændig bizarre ting
  • 10 tegn på at studiet er bogus
  • Sådan fungerer Scientific Peer Review

Flere store links

  • American Association for the Advancement of Science
  • Scientific American:Mest populære videnskabelige undersøgelser af 2016

Kilder

  • Athanasiou, Thanos, etal. "Nøgleemner i kirurgisk forskning og metode." Side 32. Springer, 2010. (10. september, 2017) http://bit.ly/2vZ9rsn
  • Boston College. "Differentiel fejlklassificering af eksponering." Bu.edu. (10. september, 2017) http://bit.ly/2vYFIQo
  • Burge, Sandra. "Bias i forskning." Familymed.uthscsa.edu. (9. september, 2017) http://bit.ly/2xXMRhl
  • Center for innovation i forskning og undervisning. "Kilder til fejl og forspænding." Cirt.gcu.edu. (8. september, 2017) http://bit.ly/2xXsLne
  • Cochrane metoder. "Vurdering af risiko for partiskhed i inkluderede undersøgelser." Cochrane.org. (9. september, 2017) http://bit.ly/2xXyl8W
  • Delgado, M., etal. "Partiskhed." Journal of Epidemiology and Health. August 2004. (10. september, 2017) http://bit.ly/2vYAtQO
  • Dusheck, Jennie. "Undersøgelser af videnskabelig skævhed rettet mod de rigtige problemer." Med.stanford.edu. 20. marts 2017. (9. september, 2017) http://stan.md/2xXcCyh
  • Dwan, Kerry, etal. "Systematisk gennemgang af det empiriske bevis for undersøgelsespublikationsbias og resultatrapporteringsbias - en opdateret anmeldelse." PLOS ONE. 5. juli kl. 2013. (9. september, 2017) http://bit.ly/2xX2a9J
  • Enserink, Martin. "De fleste dyreforsøg undersøger muligvis ikke nøglefordele." Videnskab. 13. oktober kl. 2015. (9. september, 2017) http://bit.ly/2xWwhy6
  • Fanelli, Daniele. "Øger presset for at offentliggøre forskernes bias? En empirisk støtte fra amerikanske staters data." PLOS ONE. 21. april kl. 2010. (7. september, 2017) http://bit.ly/2xXgvD1
  • Fanelli, Daniele. "" Positive "resultater stiger ned i videnskabens hierarki." PLOS ONE. 7. april kl. 2010. (7. september, 2017) http://bit.ly/2xYmLKR
  • Fanelli, Daniele; Costas, Rodrigo; og Ioannidis, John P.A. "Meta-vurdering af bias i videnskab." PNAS. 20. marts 2017. (7. september, 2017) http://www.pnas.org/content/114/14/3714
  • Freedman, David H. "Hvorfor videnskabelige undersøgelser er så ofte forkerte:Streetlight -effekten." Opdage. 10. december kl. 2010. (10. september, 2017) http://bit.ly/2xYJTJ4
  • Hampton, John. "Terapeutisk mode og publikationsbias:tilfælde af antiarytmiske lægemidler ved hjerteanfald." JLL Bulletin. 2015. (10. september, 2017) http://bit.ly/2xXUN1L
  • Henning, Jeffrey. "Ordensbias er en større fejlkilde end du tror." ResearchAccess.com. 1. august, 2014. (10. september, 2017) http://bit.ly/2vZdWDb
  • Institut for Arbejde &Sundhed. "Hvad forskere mener med ... selektionsbias." Iwh.on.ca. (10. september, 2017) http://bit.ly/2xYlxzk
  • Kicinski, Michal. "Publikationsbias i nylige metaanalyser." PLOS ONE. 27. november kl. 2013. (9. september, 2017) http://bit.ly/2xWKr29
  • Krishna, R .; Maithreyi, R .; Surapaneni, K.M. "Research Bias:En gennemgang for medicinstuderende." Journal of Clinical and Diagnostic Research. 5. april kl. 2010. (9. september, 2017). http://bit.ly/2xWJiYp
  • Lee, Chris. "Bekræftelsesforskydning i videnskab:hvordan man undgår det." ArsTechnica. 13. juli kl. 2010. (9. september, 2017) http://bit.ly/2xYNmHO
  • McCook, Alison. "Hvad fører til bias i den videnskabelige litteratur? Ny undersøgelse forsøger at svare." Retractionwatch.com. 20. marts 2017. (9. september, 2017) http://bit.ly/2xXBqGi
  • Mullane, Kevin og Williams, Michael. "Bias i forskning:reglen frem for undtagelsen?" Elsevier.com. 17. september kl. 2013. (9. september, 2017) http://bit.ly/2xXci2n
  • Oxford Math Center. "Berømte statistiske fejl i historien." Oxfordmathcenter.edu. (10. september, 2017) http://bit.ly/2xYi1VE
  • Pannucci, Christopher J., og Wilkins, Edwin G. "Identificering og undgåelse af bias i forskning." Rekonstruktiv plastikkirurgi. August 2010. (9. september, 2017) http://bit.ly/2xWIbbt
  • Pennwarden, Rick. "Lad ikke dine egne meninger snige sig ind i din undersøgelse:4 måder at undgå forskerbias." Surveymonkey.com. 1. januar, 2015. (9. september, 2017) http://bit.ly/2xWBTbP
  • Pew Research Center. "Spørgeskema design." Pewresearch.org. (9. september, 2017) http://pewrsr.ch/2vYk0vD
  • Piller, Charles. "Nye føderale regler retter sig mod frygtelig offentlig rapportering af resultater fra kliniske forsøg." Statnews.com. 16. september kl. 2016. (9. september, 2017) http://bit.ly/2xYpCU5
  • Roberts, Ian. "Tilbagetrækning af videnskabelige artikler for bedrageri eller bias er kun toppen af ​​isbjerget." Samtalen. 11. juni kl. 2015. (9. september, 2017) http://bit.ly/2xWTkZD
  • Sarniak, Rebecca. "9 typer forskningsbias og hvordan man undgår dem." Quirks.com. August 2015. (9. september, 2017) http://bit.ly/2vWV8EQ
  • Schupak, Amanda. "Hvor ofte trækkes videnskabelige undersøgelser tilbage?" CBS Nyheder. 26. maj kl. 2015. (9. september, 2017) http://cbsn.ws/2xXO8F9
  • Shuttleworth, Martyn. "Research Bias." Explorable.com. 5. februar kl. 2009. (9. september 2017) http://bit.ly/2xXzDRk
  • Simon, Matt. "Fantastisk forkert:Den imaginære stråling, der chokerede videnskaben og ødelagde dens 'opdager'." Wired. 3. september, 2014. (10. september, 2017) http://bit.ly/2xYwHUS
  • Thase, Michael E. "Virker antidepressiva virkelig? En klinikers vejledning til vurdering af beviserne." Aktuelle psykiatrirapporter. December 2008. (9. september, 2017) http://bit.ly/2xWWUD5
  • Turner, Eric H., etal. "Selektiv offentliggørelse af antidepressive forsøg og dens indflydelse på tilsyneladende effektivitet." New England Journal of Medicine. 17. januar, 2008. (10. september, 2017) http://bit.ly/2xYsGzx
  • Van Hilten, Lucy Goodchild. "Hvorfor er det tid til at offentliggøre forskningsfejl." Elsevier.com. 5. maj, 2015. (10. september, 2017) http://bit.ly/2xYyLfr
  • Whoriskey, Peter. "Efterhånden som lægemiddelindustriens indflydelse på forskning vokser, det samme gør potentialet for bias. "Washington Post. 24. november, 2012. (9. september, 2017)