Forvisning af skævhed på tværs af discipliner, køn og erfaring – nyt værktøj til mere retfærdige forskningsmålinger

h -indeks, g -indeks, jeg 10 indeks, m -kvotient, Journal Impact Factor, Altmetrics … det har længe været et vanskeligt problem, der plager forskersamfundet – hvordan man vurderer de relative fordele ved forskning objektivt på tværs af discipliner og laver rimelige sammenligninger mellem tidlige karrierer og etablerede forskere, forskellige køn, og endda forskellige forskningsdiscipliner.

Nu, Flinders University økolog professor Corey Bradshaw og kolleger har udviklet et værktøj til at vurdere forskningsresultater mere retfærdigt; en, der vil udjævne vilkårene ikke kun på tværs af discipliner, men på tværs af køn og karriereveje, udstrygning af rynkerne for forstyrrelser såsom barsel.

Kaldes til Epsilon indeks , opkaldt efter det græske bogstav ε bruges til at symbolisere rester i statistik, den tager højde for de mange forskelle i forskningsrummet for at levere en mere retfærdig sammenligning.

En selverkendt statistik vinkede, Professor Bradshaw har offentliggjort arbejdet i ε-indeks i open access-journalen PLoS One .

"En af de vedvarende udfordringer for forskere er søgen efter at måle kvantiteten og kvaliteten af ​​deres output retfærdigt, ' siger professor Bradshaw.

"Der er ingen ligetil proces til at sammenligne forskeres relative styrker i forskellige discipliner - nogle har bare en tendens til at have færre citater end andre.

»Så er der køn. Forskningspublikationer for kvinder kan f.eks. falde under barsel, påvirker den opfattede præstation, selvom deres evner - og deres forskning - ikke er mindre strålende. Kvinder plejer heller ikke at blive tilbudt de samme muligheder som mænd selv i dag, så de er uretfærdigt rangeret i forhold til mænd for de fleste eksisterende målinger.

'Hvor forskere er i deres karriere, hvad enten det er spændende nytilkomne eller fremtrædende professorer, kan også have en stærk effekt på aktuelle målinger.

'Det Epsilon indeks er en ny måde at reducere systemiske skævheder i vurderingen af ​​forskerkvalitet via citater ved at give karrierestadiet, køn, og mulighedskorrektioner til citationsbaserede præstationsmålinger, ' han siger.

Værktøjet er frit tilgængeligt som en færdiglavet app – du skal blot slå nogle få data ind for et udsnit af forskere fra open source-databaser som Google Scholar, og det gør det tunge løft for at producere resultatet, muliggør sammenligning af forskere på ethvert stadie af deres karriere og fra enhver disciplin i samme skala.

Det er en velsignelse for alle, der ønsker at bruge en objektiv metrik til at rangere forskere, det være sig tilskudsansøgninger, jobsamtaler, forfremmelser og priser, eller endda som en personalepræstationsindikator.

Tilgangen til at udvikle og teste ε-indeks var i sig selv en øvelse i multidisciplinaritet og specifikt udviklet til at sikre kønsbalance.

Værktøjet blev testet og forfinet gennem samarbejde om prøvedata med en arkæolog - assistent professor dr. Stefani Crabtree (Utah State University/Santa Fe Institute), en geolog og palæontolog i hvirveldyr - professor Kate Trinajstic (Curtin University), en kemiker - professor Justin Chalker, en mikrobiolog - professor Bart Eijkelkamp, en palæontolog - professor John Long, en øjenlæge - professor Justine Smith, og en evolutionsbiolog - professor Vera Weisbecker (alle Flinders University).

Stikprøven omfattede 480 forskere med Google Scholar-profiler, opdelt jævnt i otte discipliner (arkæologi, kemi, økologi, evolution og udvikling, geologi, mikrobiologi, oftalmologi, palæontologi), tre karrierestadier (tidlige, midt-, sen karriere), og to køn.

Professor Justine Smith, som har været en 'superstar of STEM', der aktivt fremmer kvinders engagement i videnskab, teknologi, teknik og matematik, håber ε-indeks vil gøre en forskel for, hvordan kvinder i videnskaben opfattes, og til gengæld tilskynde flere kvinder til at gå ind i videnskaberne.

"Mere præcis vurdering af kvinders bidrag til videnskaberne og fejring af deres succeser er afgørende for at tilskynde fremtidige generationer af piger til videnskaben; som man siger, "du kan ikke være, hvad du ikke kan se". Det ε-indeks giver kvinders præstationer mere retfærdig og større synlighed, og at det gør det på tværs af en række discipliner, gør det særligt gavnligt, siger professor Smith.

Hvordan det virker

Det nye indeks er en rangeringsalgoritme, der kan standardiseres på tværs af discipliner, kan korrigeres for karrierestop, og giver en prøvespecifik tærskel, der kan bestemme, om den individuelle præstation er større eller mindre end forventet i forhold til de andre forskere i en prøve.

Ved at bruge enten R-koden eller onlineappen, det kræver kun fire oplysninger fra offentlige databaser som Google Scholar eller Scopus for at beregne en forskers ε -indeks:

• antallet af erhvervede citater for forskerens topciterede papir
• det jeg 10-indeks (antal artikler med mindst 10 citater)
• det h -indeks, og
• året, hvor forskerens første peer-reviewede papir blev offentliggjort.

Værktøjet giver også en enkel metode til at skalere indekset på tværs af discipliner med variable citationstendenser ( ε ′-indeks) for at muliggøre en mere retfærdig sammenligning af forskere på forskellige områder.

Det ε -indeks tillader let benchmarking af undergrupper af forskere til kun kvinder eller mænd kun for at justere tærsklen, således at rækkerne er mere sammenlignelige mellem disse to køn. Alternativt opdeling af kønnene og benchmarking af dem separat efterfulgt af en kombineret omrangering fjerner effektivt kønsbias i ε -indeks, hvilket er svært eller umuligt at gøre med andre rangeringsmålinger.

'Ingen placeringsmetrik er perfekt, men ε-indeks er et stort spring fremad med hensyn til at overvinde bias og give en klarere, mere retfærdigt billede af forskningsresultater overalt, ' siger professor Bradshaw.