En ny replikationskrise:Forskning, der med mindre sandsynlighed er sand, citeres mere

Paper i førende psykologi, økonomiske og videnskabelige tidsskrifter, der undlader at kopiere og derfor er mindre tilbøjelige til at være sande, er ofte de mest citerede artikler i akademisk forskning, ifølge en ny undersøgelse fra University of California San Diego's Rady School of Management.

Udgivet i Videnskabens fremskridt , papiret udforsker den igangværende "replikationskrise", hvor forskere har opdaget, at mange resultater inden for samfundsvidenskab og medicin ikke holder stik, når andre forskere forsøger at gentage eksperimenterne.

Papiret afslører, at resultater fra undersøgelser, der ikke kan verificeres, når forsøgene gentages, har større indflydelse over tid. Den upålidelige forskning har en tendens til at blive citeret, som om resultaterne var sande længe efter, at publikationen ikke kunne replikere.

"Vi ved også, at eksperter godt kan forudsige, hvilke papirer der vil blive replikeret, " skriver forfatterne Marta Serra-Garcia, adjunkt i økonomi og strategi ved Rady-skolen og Uri Gneezy, professor i adfærdsøkonomi også ved Radyskolen. "Med denne forudsigelse, vi spørger 'hvorfor accepteres ikke-replikerbare papirer til offentliggørelse i første omgang?'"

Deres mulige svar er, at reviewhold af akademiske tidsskrifter står over for en afvejning. Når resultaterne er mere "interessante, " de anvender lavere standarder med hensyn til deres reproducerbarhed.

Forbindelsen mellem interessante resultater og ikke-replikerbar forskning kan også forklare, hvorfor det citeres i en meget højere hastighed - forfatterne fandt ud af, at artikler, der med succes replikerer, citeres 153 gange mindre end dem, der mislykkedes.

"Interessante eller tiltalende resultater er også dækket mere af medier eller delt på platforme som Twitter, skabe megen opmærksomhed, men det gør dem ikke sande, " sagde Gneezy.

Serra-Garcia og Gneezy analyserede data fra tre indflydelsesrige replikationsprojekter, som forsøgte systematisk at replikere resultaterne i toppsykologi, økonomiske og generelle videnskabelige tidsskrifter ( Natur og Videnskab ). I psykologi, kun 39 procent af de 100 eksperimenter blev replikeret med succes. I økonomi, 61 procent af de 18 undersøgelser replikerede, ligesom 62 procent af de 21 undersøgelser, der blev offentliggjort i Natur / Videnskab .

Med resultaterne fra disse tre replikationsprojekter, forfatterne brugte Google Scholar til at teste, om artikler, der ikke kunne replikeres, citeres væsentligt oftere end dem, der blev replikeret med succes, både før og efter replikeringsprojekterne blev offentliggjort. Det største hul var i artikler udgivet i Natur / Videnskab :ikke-replikerbare papirer blev citeret 300 gange mere end replikerbare.

Når forfatterne tog højde for flere karakteristika ved de gentaget undersøgelser - såsom antallet af forfattere, antallet af mandlige forfattere, detaljerne i eksperimentet (placering, sprog og online-implementering) og det område, hvor papiret blev offentliggjort - forholdet mellem replikerbarhed og citater var uændret.

De viser også, at virkningen af ​​sådanne citater vokser over tid. Årlige citattællinger afslører en udtalt kløft mellem papirer, der replikeres, og dem, der ikke gjorde det. Gennemsnitlig, papirer, der ikke kunne kopieres, citeres 16 gange mere om året. Dette hul forbliver, selv efter at replikeringsprojektet er offentliggjort.

"Bemærkelsesværdigt, kun 12 procent af citater efter replikation af ikke-replikerbare fund anerkender replikationsfejlen, " skriver forfatterne.

Indflydelsen af ​​et unøjagtigt papir offentliggjort i et prestigefyldt tidsskrift kan have konsekvenser i årtier. For eksempel, undersøgelsen Andrew Wakefield publiceret i The Lancet i 1998 vendte titusindvis af forældre rundt om i verden mod mæslinger, fåresyge- og røde hunde-vaccine på grund af en underforstået sammenhæng mellem vaccinationer og autisme. De forkerte resultater blev trukket tilbage af The Lancet 12 år senere, men påstandene om, at autisme er forbundet med vacciner, fortsætter.

Forfatterne tilføjede, at tidsskrifter kan føle sig presset til at offentliggøre interessante resultater, og det samme gør akademikere. For eksempel, i forfremmelsesbeslutninger, de fleste akademiske institutioner bruger citater som en vigtig målestok i beslutningen om, hvorvidt de skal forfremme et fakultetsmedlem.

Dette kan være kilden til "replikeringskrisen, " opdagede først i begyndelsen af ​​2010'erne.

"Vi håber, at vores forskning opmuntrer læserne til at være forsigtige, hvis de læser noget, der er interessant og tiltalende, " sagde Serra-Garcia. "Når forskere citerer arbejde, der er mere interessant eller er blevet citeret meget, vi håber, de vil tjekke, om replikationsdata er tilgængelige, og hvad disse resultater tyder på."

Gneezy tilføjede, "Vi bekymrer os om feltet og producere kvalitetsforskning, og vi ønsker, at det skal være sandt."