Bindestreger i papirtitler skader antallet af citater og tidsskriftets indvirkningsfaktorer

Ifølge de seneste forskningsresultater, tilstedeværelsen af ​​simple bindestreger i titlerne på akademiske artikler påvirker citationsstatistikken negativt, uanset kvaliteten af ​​artiklerne. Fænomenet gælder for alle større fagområder. Dermed, citationsantal og tidsskriftspåvirkningsfaktorer, almindeligt anvendt til professorale evalueringer på universiteter verden over, er upålidelige.

Denne banebrydende opdagelse udgør en grundlæggende udfordring for spillets regel, når det gælder om at bestemme bidragene fra papirer, journaler, og professorer. Det afsløres i et papir med titlen "Metamorphic Robustness Testing:Exposing Hidden Defects in Citation Statistics and Journal Impact Factors, " af Zhi Quan Zhou, T.H. Tse, og Matt Witheridge, for nylig udgivet i IEEE Transaktioner på Software Engineering , det bedste tidsskrift på området.

T.H. Tse er æresprofessor i datalogi ved University of Hong Kong (HKU). Zhi Quan Zhou modtog en ph.d. fra HKU og er i øjeblikket lektor i software engineering ved University of Wollongong, Australien. Matt Witheridge er ph.d. studerende ved University of Wollongong.

Scopus og Web of Science er de to førende citationsindekseringssystemer. Scopus leverer citationsstatistikkerne for at understøtte Times Higher Education World University Rankings og QS World University Rankings. Web of Science giver journalens effektfaktor, der understøtter rangeringen af ​​større tidsskrifter. På grund af vigtigheden af ​​disse to indekseringssystemer, det er vigtigt at sikre deres kvalitet. I særdeleshed, robusthedstest refererer til verifikation af systemernes evne til at håndtere fejlagtige input eller uventede situationer. For eksempel, kan indekseringssystemet håndtere et citat korrekt, hvis der er en mindre tastefejl ved citering af papirtitlen?

Professor Tse og teammedlemmer foreslog en innovativ metode kaldet "metamorf robusthedstestning" for at verificere Scopus og Web of Science. Den dybtgående undersøgelse afslørede robusthedsfejl i begge systemer, der kunne producere fejlagtige citattællinger for papirer med bindestreger i titlerne, så de efterfølgende opgjorte tidsskriftspåvirkningsfaktorer er problematiske.

Tilbage i 2015, Letchford og kolleger gennemførte en storstilet undersøgelse om Scopus, og fandt, at papirer med kortere titler havde en tendens til at blive citeret mere end dem med længere titler.

Tværtimod, Professor Tse og det nuværende hold finder, at det faktisk er antallet af bindestreger i titlen, der fungerer som den mere dominerende faktor for citattællinger. Som regel, antallet af bindestreger er korreleret til et papirs titellængde, giver dermed den fejlfortolkning, at citat tæller afhænger af titellængde.

Citationspraksis varierer på tværs af fagområder. Publikationer inden for bestemte felter kan have systematisk højere citattal end i andre felter. For eksempel, man kan argumentere for, at artikler i kemi (hvor papirtitler ofte bærer bindestreger som en del af den kemiske nomenklatur) kun modtager et relativt begrænset antal citater, giver anledning til en falsk negativ sammenhæng mellem bindestreger og citater. Derfor, teamet gennemførte fokuserede undersøgelser af tidsskrifter inden for bestemte fagområder. Resultaterne indikerede, at bindestreger har en negativ indvirkning på antallet af citater i artikler, selvom undersøgelsen kun er begrænset til en bestemt disciplin.

For at bygge videre på resultaterne på artikel- og disciplinniveau, holdet undersøgte virkningen af ​​bindestreger i papirtitler på tidsskriftsniveau. Journal impact factor (JIF) er en fælles målestok til bestemmelse af citationsfrekvensen for et akademisk tidsskrift. Det bruges ofte til at repræsentere en tidsskrifts relative betydning inden for sit felt. Et feltdækkende softwareingeniørstudie afslører, at de højere JIF-rangerede tidsskrifter udgiver en lavere procentdel af artikler med bindestreger.

Holdet gennemførte yderligere en analyse af forskningens validitet for at undgå at falde i fælden med at sidestille sammenhæng med årsagssammenhæng.

"Vores resultater sætter spørgsmålstegn ved den almindelige tro i den akademiske verden, regeringer, og finansieringsorganer, der tæller citat, er et pålideligt mål for bidrag og betydning af papirer. Faktisk, de kan forvrænges blot ved tilstedeværelsen af ​​bindestreger i artiklens titler, som ikke har nogen betydning for kvaliteten af ​​forskningen. Tilsvarende vores resultater udfordrer også gyldigheden af ​​tidsskriftspåvirkningsfaktorer, sagde professor Tse.

"Disse overraskende resultater er af interesse ikke kun for professorer, der søger ansættelse eller forfremmelse, men også til den øverste ledelse, såsom præsidenter, dekaner, og hoveder. De gælder for alle fakulteter på ethvert universitet, " han tilføjede.