Vores undersøgelse fandt tvivlsom forskningspraksis fra økologer og biologer – her er hvad det betyder

Kirsebærplukning eller skjul resultater, udelukkelse af data for at opfylde statistiske tærskler og præsentere uventede fund, som om de var forudsagt hele tiden - det er blot nogle af de "tvivlsomme forskningspraksis", der er impliceret i replikationskrisen psykologi og medicin har stået over for i løbet af det sidste halve årti eller deromkring.

Vi undersøgte for nylig mere end 800 økologer og evolutionære biologer og fandt høje rater af mange af disse praksisser. Vi mener, at dette er den første dokumentation af denne adfærd inden for disse videnskabsområder.

Vores præ-print resultater har en vis chokværdi, og deres udgivelse vakte stor opmærksomhed på sociale medier.

• 64% af de adspurgte forskere rapporterede, at de havde mindst en gang undlod at rapportere resultater, fordi de ikke var statistisk signifikante (cherry picking)
• 42% havde indsamlet flere data efter at have undersøgt, om resultaterne var statistisk signifikante (en form for "p -hacking")
• 51 % rapporterede et uventet fund, som om det var blevet antaget fra starten (kendt som "HARKing, " eller hypotese efter resultater er kendt).

Selvom disse resultater meget ligner dem, der er fundet inden for psykologi, reaktioner tyder på, at de er overraskende - i hvert fald for nogle økologi- og evolutionforskere.

forfatterne rapporterer, at overordnet set er brugen af ​​tvivlsom forskningspraksis i økologi og evolution omtrent lige så udbredt som i psykologi.
Vi har alle set Psych, vrider vores hænder over de stakkels kære, men I ALLE ER VI OGSÅ I FEJL

— Andrew MacDonald (@polesasunder) 21. marts, 2018

Der er mange mulige fortolkninger af vores resultater. Vi forventer, at der også vil være mange misforståelser om dem og uberettigede ekstrapolationer. Vi taler om nogle af disse nedenfor.

Det er svindel!

Det er ikke svindel. Videnskabeligt bedrageri involverer fremstilling af data og medfører strenge strafferetlige sanktioner. Den tvivlsomme forskningspraksis, vi fokuserer på, er per definition tvivlsom:De sidder i en gråzone mellem acceptabel praksis og videnskabelig uredelighed.

Vi stillede et spørgsmål om fremstilling af data, og svaret på det gav yderligere bevis for, at det er meget sjældent, i overensstemmelse med resultater fra andre områder.

Forskere mangler integritet, og vi bør ikke stole på dem

Der er et par grunde til, at dette ikke bør være vores papirs hjem-budskab.

Først, reaktioner på vores resultater tyder indtil videre på en engageret, modent videnskabeligt samfund, klar til at erkende og løse disse problemer.

Jeg er desværre ikke overrasket over dette - da jeg blev "trænet" var mange af disse tvivlsomme praksisser normen. Vi skal begynde at oplære studerende tidligere, men også sørge for, at portvagterne til tilskud og publikationer også bliver undervist i disse spørgsmål. Nyd din kaffe!

— Matthew Grainger (@Ed_pheasant) 21. marts, 2018

Hvis noget, denne form for engagement bør øge vores tillid til disse videnskabsmænd og deres engagement i forskningsintegritet.

Sekund, resultaterne fortæller os meget mere om strukturerede incitamenter og institutioner, end de fortæller os om individer og deres personlige integritet.

For eksempel, disse resultater fortæller os om institutionen for videnskabelig udgivelse, hvor negative (ikke statistisk signifikante resultater) næsten er forvist fra de fleste tidsskrifter inden for de fleste videnskabsområder, og hvor replikationsundersøgelser stort set aldrig publiceres på grund af ubarmhjertig fokus på roman, "banebrydende" resultater.

Undersøgelsens resultater fortæller os om videnskabelig finansiering, igen hvor "roman" (betyder positiv, signifikante) fund værdsættes mere end omhyggeligt, forsigtige procedurer og replikering. De fortæller os også om universiteter, om ansættelses- og forfremmelsespraksis inden for akademisk videnskab, der fokuserer på publikationsmålinger og overvurderer kvantitet på bekostning af kvalitet.

Så hvad betyder de, disse tvivlsomme forskningspraksis indrømmet af forskerne i vores undersøgelse? Vi tror, ​​de bedst forstås som det uundgåelige resultat af publikationsbias, finansieringsprotokoller og et stadigt stigende pres for at offentliggøre.

Vi kan ikke basere vigtige beslutninger på nuværende videnskabelige beviser

Der er en risiko for, at vores resultater vil føre til en opfattelse af, at vores videnskab ikke er politisk klar. På mange områder, såsom sundhed og miljø, dette kan være meget skadeligt, endda katastrofalt.

En grund til at det er uberettiget er, at klimavidenskab er en modelbaseret videnskab, og der har været mange uafhængige gentagelser af disse modeller. Tilsvarende med immuniseringsforsøg.

Vi ved, at enhver kritik af videnskabelig praksis løber en risiko i forbindelse med anti-videnskabelige følelser, men sådan kritik er grundlæggende for videnskabens succes.

At forblive åben for kritik er videnskabens mest kraftfulde selvkorrektionsmekanisme, og i sidste ende hvad der gør det videnskabelige evidensgrundlag troværdigt.

Forskere er mennesker, og vi har brug for sikkerhedsforanstaltninger

Dette er en fortolkning, vi helhjertet støtter. Forskere er mennesker og underlagt den samme række kognitive skævheder - som bekræftelsesbias - som resten af ​​os.

Efterhånden som vi lærer mere om kognitive skævheder og hvordan man bedst afbøder dem under forskellige omstændigheder, vi skal føre dette tilbage til normerne for videnskabelig praksis.

Det samme gælder vores viden om, hvordan mennesker fungerer under forskellige incitamentsstrukturer og -betingelser. Dette er grundlaget for mange af de initiativer, der skal gøre videnskaben mere åben og gennemsigtig.

Open science -bevægelsen handler om at udvikle initiativer til beskyttelse mod påvirkning af kognitiv bias, og ændre incitamentsstrukturer, så forskning, der anvender disse tvivlsomme forskningspraksis, stopper med at blive belønnet.

Nogle af disse initiativer er blevet entusiastisk vedtaget af mange videnskabsmænd og tidsskriftsredaktører. For eksempel, mange tidsskrifter udgiver nu analysekode og data sammen med deres artikler, og mange har tilmeldt sig retningslinjer for gennemsigtighed og åbenhed (TOP).

Andre initiativer lover også meget. For eksempel, registrerede rapportformater tilbydes nu af nogle tidsskrifter, mest inden for psykologi og medicinske områder. I en registreret rapport, artikler gennemgås på styrken af ​​deres underliggende præmis og tilgang, før data indsamles. Dette fjerner fristelsen til kun at vælge positive resultater eller anvende forskellige strenghedsstandarder på negative resultater. Kort sagt, det forringer publikationsbias.

Vi håber, at ved at gøre opmærksom på udbredelsen af ​​tvivlsom forskningspraksis, vores forskning vil tilskynde til støtte til disse initiativer, og vigtigst, tilskynde institutioner til at støtte forskere i deres egne bestræbelser på at tilpasse deres praksis til deres videnskabelige værdier.

Denne artikel blev oprindeligt publiceret på The Conversation. Læs den originale artikel.