Albert Einstein den middelmådige:Hvorfor h-indekset er et falsk mål for akademisk effekt

Tidligere i år, Den franske læge og mikrobiolog Didier Raoult skabte et medieoprør over hans kontroversielle promovering af hydroxychloroquin til behandling af COVID-19. Forskeren har længe peget på hans voksende liste af publikationer og høje antal citater som en indikation af hans bidrag til videnskaben, alt sammenfattet i hans "h-indeks".

Kontroversen om hans seneste forskning giver mulighed for at undersøge svaghederne ved h-indekset, en metrik, der har til formål at kvantificere en forskers produktivitet og effekt, bruges af mange organisationer til at evaluere forskere for forfremmelser eller forskningsprojektfinansiering.

Opfundet i 2005 af den amerikanske fysiker John Hirsch, Hirsch-indekset eller h-indekset, er en væsentlig reference for mange forskere og ledere i den akademiske verden. Det er især fremmet og brugt i de biomedicinske videnskaber, et felt, hvor det massive antal publikationer næsten umuliggør enhver seriøs kvalitativ vurdering af forskeres arbejde. Denne påståede kvalitetsindikator er blevet et spejl, som forskere beundrer sig selv eller håner over for deres kollegers og rivalers ynkelige h-indeks.

Selvom eksperter i bibliometri - en gren af ​​biblioteks- og informationsvidenskab, der bruger statistiske metoder til at analysere publikationer - hurtigt har påpeget den tvivlsomme karakter af denne sammensatte indikator, de fleste forskere synes ikke altid at forstå, at dets egenskaber gør det til et langtfra gyldigt indeks til seriøst og etisk at vurdere kvaliteten eller den videnskabelige effekt af publikationer.

Promotorer af h-indekset begår en elementær logikfejl. De hævder, at fordi nobelprisvindere generelt har et højt h-indeks, målingen er en valid indikator for forskernes individuelle kvalitet. Imidlertid, hvis et højt h-indeks virkelig kan forbindes med en nobelprisvinder, dette beviser på ingen måde, at et lavt h-indeks nødvendigvis er forbundet med en forsker med dårligt omdømme.

Ja, et tilsyneladende lavt h-indeks kan skjule en høj videnskabelig effekt, i hvert fald hvis man accepterer, at den sædvanlige måleenhed for videnskabelig synlighed afspejles i antallet af modtagne citater.

Grænser for h-indekset

Defineret som antallet af artikler N af en forfatter, der hver især har modtaget mindst N citater, h-indekset er begrænset af det samlede antal publicerede artikler. For eksempel, hvis en person har 20 artikler, der hver er citeret 100 gange, hendes h-indeks er 20 - ligesom en person, der også har 20 artikler, men hver citeret kun 20 gange. Men ingen seriøs forsker vil sige, at de to er lige, fordi deres h-indeks er det samme.

Det mest ironiske i h-indeksets historie er, at dets opfinder ønskede at imødegå påstanden om, at antallet af publicerede artikler repræsenterede en forskers indvirkning. Så, han inkluderede antallet af citater, artiklerne modtog.

Men det viser sig, at en forfatters h-indeks er stærkt korreleret (op til ca. 0,9) med hans samlede antal publikationer. Med andre ord, det er antallet af publikationer, der driver indekset mere end antallet af citater, en indikator, der fortsat er det bedste mål for videnskabelige publikationers synlighed.

Alt dette er velkendt for eksperter i bibliometri, men måske mindre for forskere, ledere og journalister, der lader sig imponere af videnskabsmænd, der paraderer deres h-indeks.

Raoult mod Einstein

I en nylig undersøgelse af Raoults forskningsaktiviteter af den franske avis Médiapart , en forsker, der havde været medlem af evalueringsudvalget for Raoults laboratorium, sagde:"Det, der slog hende, var Didier Raoults besættelse af hans publikationer. Få minutter før evalueringen af ​​hans enhed begyndte, det første, han viste hende på sin computer, var hans h-indeks." Raoult havde også sagt ind Le Point magasin i 2015, at "det var nødvendigt at tælle antallet og virkningen af ​​forskeres publikationer for at vurdere kvaliteten af ​​deres arbejde."

Så lad os tage et kig på Raoults h-indeks og se, hvordan det kan sammenlignes med, sige, det af en forsker, der regnes for det sidste århundredes største videnskabsmand:Albert Einstein.

I Web of Science-databasen, Raoult har 2, 053 artikler publiceret mellem 1979 og 2018, efter at have modtaget i alt 72, 847 citater. Hans h-indeks beregnet ud fra disse to tal er 120. Vi ved, imidlertid, at værdien af ​​dette indeks kan pustes kunstigt op gennem forfatterens selvcitater - når en forfatter citerer sine egne tidligere artikler. Databasen indikerer, at blandt de samlede citater, der tilskrives artiklerne medforfattet af Raoult, 18, 145 stammer fra artikler, som han er medforfatter til. Disse selvciteringer udgør i alt 25 procent. Trækker man disse fra, Raoults h-indeks falder 13 procent til en værdi på 104.

Nu, lad os undersøge tilfældet med Einstein, der har 147 artikler opført i Web of Science-databasen mellem 1901 og 1955, hans dødsår. For hans 147 artikler, Einstein har modtaget 1, 564 citater i løbet af hans levetid. Af dette samlede antal citater, kun 27, eller sølle 1,7 pct. er selvcitater. Nu, hvis vi tilføjer citaterne til hans artikler efter hans død, Einstein har modtaget i alt 28, 404 citater mellem 1901 og 2019, hvilket giver ham et h-indeks på 56.

Hvis vi skal stole på den såkaldte "objektive" måling leveret af h-indekset, vi er så tvunget til at konkludere, at Raoults arbejde har dobbelt så stor videnskabelig effekt som Einsteins, fotonens fader, begrænsede og generelle relativitetsteorier, Bose-Einstein-kondensationen og fænomenet med den stimulerede emission ved lasernes oprindelse.

Eller måske er det nemmere (og bedre) at konkludere, som allerede foreslået, at denne indikator er falsk?

Man bør bemærke den betydelige forskel i antallet af samlede citater modtaget af hver af disse forskere i løbet af deres karriere. De har åbenbart været aktive på meget forskellige tidspunkter, og størrelsen af ​​videnskabelige samfund, og derfor antallet af potentielle citerende forfattere, er vokset betydeligt i løbet af det sidste halve århundrede.

Der skal også tages hensyn til disciplinære forskelle og samarbejdsmønstre. For eksempel, teoretisk fysik har langt færre bidragydere end mikrobiologi, og antallet af medforfattere pr. artikel er mindre, som påvirker målingen af ​​forskernes produktivitet og effekt.

Endelig, det er vigtigt at bemærke, at udsagnet:"h-indekset for person P er X, "har ingen mening, fordi værdien af ​​indekset afhænger af indholdet af databasen, der bruges til dets beregning. Man burde hellere sige:"h-indekset for person P er X, i databasen Z." Derfor, ifølge Web of Science-databasen, som kun indeholder tidsskrifter, der anses for at være seriøse og ret synlige på det videnskabelige område, h-indekset for Raoult er 120. På den anden side, i Google Scholars gratis og derfor let tilgængelige database, hans h-indeks – det der oftest gentages i medierne – går op til 179.

Talfetichisme

Mange videnskabelige samfund tilbeder h-indekset, og denne fetichisme kan have skadelige konsekvenser for videnskabelig forskning. Frankrig, for eksempel, bruger et afhøringssystem, de gestion et d'analyse des publications scientifiques til at bevilge forskningsmidler til dets biomedicinske videnskabslaboratorier. Det er baseret på antallet af artikler, de publicerer i såkaldte high impact factor-tidsskrifter. Som rapporteret af avisen Le Parisien , det hektiske tempo i Raoults publikationer gør det muligt for hans hjemmeinstitution at tjene mellem 3, 600 og 14, 400 euro årligt for hver artikel udgivet af hans team.

Sund fornuft bør lære os at være på vagt over for forenklede og endimensionelle indikatorer. At sænke det vanvittige tempo i videnskabelige publikationer ville helt sikkert få forskere til at miste interessen for h-indekset. Vigtigere, at opgive det ville bidrage til at producere videnskabelige artikler, der vil være færre i antal, men bestemt mere robust.

Denne artikel er genudgivet fra The Conversation under en Creative Commons -licens. Læs den originale artikel.