Tre ting, det videnskabelige samfund kan gøre for at filtrere skitseret forskning

Sidste måned, Indonesiens tidligere minister for forskning og teknologi pralede med, at i 2019, Indonesien havde overhalet Malaysia og Singapore i antallet af publicerede akademiske artikler.

Imidlertid, forskere hævder, at denne 'produktivitet' er resultatet af et stærkt kritiseret præstationsmålingssystem for akademikere baseret for det meste på output og citater, i stedet for forskningens kvalitet.

Den output-baserede præstationsgennemgang har også ført til udbredt uetisk praksis blandt Indonesiens forskersamfund, herunder 'dataudmudring' - oppustning af stikprøvestørrelser eller manipulation med statistiske modeller - for at producere forskning med resultater, der beviser deres hypoteser, som er mere begunstiget af tidsskrifter.

Sandersan Onie, en ph.d. kandidat ved University of New South Wales, sagde under et webinar om forskningsgennemsigtighed afholdt sidst i sidste måned, at denne uærlige praksis er steget, efterhånden som forskere sigter efter publicerbarhed frem for nøjagtighed.

"Eksperimentører kan udføre ti forskellige slags statistiske procedurer, men de rapporterer kun den, der med størst sandsynlighed bliver offentliggjort og citeret. De udfører selektiv rapportering, " han sagde.

Mere end 1, 000 deltagere fra omkring 30 institutioner streamede webinaret med titlen " Fremme videnskab i Indonesien:Aktuelle globale forskningspraksis ", den første af sin slags til Indonesien.

Simine Vazire, professor i psykologi ved University of California-Davis, var en af ​​begivenhedens hovedtalere.

Hun siger, at selvom der er mange måder at fremme gennemsigtighed på, generelt er der tre strategier, der direkte kan øge forskningens troværdighed.

Forhåndsregistrering af forsøgsprocessen

Den første metode, som Vazire foreslog, var en praksis almindeligvis kendt som præregistrering, som er et tidsstemplet, skrivebeskyttet version af en forskningsplan, der er oprettet før undersøgelsen udføres.

Forskere er nødt til at uddybe den forskning, de planlægger at foretage, før de overhovedet samler en snert af data.

Information kan variere fra de foreslåede hypoteser, til hvilken statistisk metode der vil blive brugt til at analysere dataene.

Dokumentet vil derefter blive arkiveret i et system som Open Science Framework (OSF), en open source forskningsledelsesplatform.

"Hvis du får et spændende fund med et resultat, du vil ikke senere kunne skjule det faktum, at du også målte tolv andre udfald, " sagde Vazire.

"Du forpligter dig på forhånd til at være offentlig om, hvor mange resultater og behandlinger du havde."

Den anden praksis er ved at indsende det, der er kendt som registrerede rapporter. I bund og grund er de en mere stringent og formel form for forhåndsregistrering.

Forfattere sender et forudarbejdet manuskript, der forklarer forskningspitchet mere detaljeret, til et tidsskrift til indledende gennemgang.

Hvis redaktionen beslutter, at undersøgelsen opfylder alle deres kriterier for godt forskningsdesign, de giver forfatterne det, der kaldes en 'i princippet' accept. Her, redaktører accepterer artiklerne, selv før forfatteren indsamler data. Tidsskriftet vil publicere artiklen uanset resultatet af undersøgelsen, derfor bevare den videnskabelige integritet.

"Det fine ved registrerede rapporter er, at beslutningen om at acceptere eller afvise papiret til offentliggørelse ikke afhænger af, om din hypotese var rigtig, om du fik et statistisk signifikant resultat, eller om rapporterne er chokerende eller spændende eller sandsynligvis vil blive citeret meget, " sagde Vazire.

Disse præregistreringsmetoder afskrækker videnskabsmænd fra dataudmudring og 'hypotese efter resultater er kendt' (HARKing) . Det skyldes, at hvis forskere afviger fra deres tidligere aftalte forskningsmetode, de skal begrunde, hvorfor de gjorde det.

Bortset fra det, registrerede rapporter kan løse problemet, hvor forskning med negative resultater har lav sandsynlighed for at blive publiceret.

Negative resultater er lige så vigtige for videnskaben, men tidsskrifter betragter dem som utiltalende og tiltrækker færre citater.

En undersøgelse fra 2019 fra Cardiff University, for eksempel, fremhæver, hvordan omkring 60 % af forskningsartikler, der er offentliggjort ved hjælp af det registrerede rapportsystem, har negative resultater.

Sammenlign det med estimater af den nuværende litteratur, hvor kun cirka 10 % af artikler publiceret i tidsskrifter indeholder negative resultater, indikerer ekstrem publikationsbias.

I øjeblikket, kun 209 tidsskrifter i verden tilbyder en registreret rapportmekanisme i deres udgivelsesproces, ingen af ​​dem fra Indonesien. Dette svarer til mindre end 0,01 % af de 24, 600 peer-reviewed tidsskriftstitler indekseret i Scopus.

Rizqy Amelia Zein, psykologiunderviser ved Universitas Airlangga, som var en af ​​arrangørerne af webinaret, sagde i et opfølgende interview, at indonesiske publikationer stadig har en lang vej at gå.

"De fleste indonesiske tidsskrifter bekymrer sig kun om kosmetiske aspekter. De beskæftiger sig sjældent med kvalitet, da deres hovedprioritet selvfølgelig er indeksering i Scopus, " hun sagde.

Tilskyndelse til datadeling gennem badges

Den sidste metode, som Vazire anbefaler, er brugen af ​​badges af tidsskrifter for at motivere forskere til at dele data.

Det bedste eksempel er måske Foreningen for Psykologisk Videnskab. Tre af dets prestigefyldte tidsskrifter, inklusive Psykologisk Videnskab , tilbyde badges til forfattere og deres accepterede manuskripter i anerkendelse af åben videnskabelig praksis.

Tre badges er tilgængelige. En til at levere data i et offentligt depot, en til at levere materialer med åben adgang, og en anden til implementering af præregistreringspraksis.

En amerikansk undersøgelse fra 2016 bekræftede, at efter implementeringen af ​​disse badges, antallet af Psykologisk Videnskab artikler, der rapporterede åbne data, steg i vejret.

"Jeg så også en trickle-down effekt af denne politik på mindre tidsskrifter. Selvom de ikke havde nogen badges eller havde politikker om åbne data, vi så stadig mange flere forfattere, der delte deres data, fordi de nu forstod, at folk stolede mere på papirer, når de havde åbne data, " sagde Vazire.

En undersøgelse fra 2017 af forskere fra Queensland University of Technology antydede, at åbne data-badges var det eneste testede incitament, der motiverede forskere til at dele data.

Sandersan siger, at denne gennemsigtighed og ansvarlighedspraksis ikke er de ultimative løsninger, men de repræsenterer skridt mod det endelige mål om at producere troværdig forskning af høj kvalitet.

"Det er meget vigtigt, at vi ikke kun læser avisen, men vi ved, hvilke beslutninger forskerne træffer, og hvordan de kom dertil. Ved at kræve gennemsigtighed, forskere kan vise hele deres tankeproces, " han sagde.

"Hvis vi kun tilskynder til h-indeks og publikationsoutput og alle disse ting, det vil kun hjælpe os med at skabe dårlig forskning."

Denne artikel er genudgivet fra The Conversation under en Creative Commons-licens. Læs den originale artikel.