Forskere finder lavere karakterer givet til elever med efternavne, der kommer senere i alfabetisk rækkefølge

Forskerne indsamlede tilgængelige historiske data om alle uddannelser, studerende og opgaver på Canvas fra efterårssemesteret 2014 til sommersemesteret 2022. De supplerede Canvas-dataene med universitetsregistratordata, som indeholder detaljerede oplysninger om studerendes baggrund, demografi og læringsforløb på universitetet.

Selvom dataene er fra U-M, siger forskerne, at resultaterne kan generaliseres på tværs af institutioner og kurser. De er drevet af et almindeligt designproblem med læringsstyringssystemer – standardindstillingen for at rangordne elevernes opgaver alfabetisk efter deres navne.

Deres forskning afslørede et klart mønster af et fald i karakterkvaliteten, efterhånden som gradere evaluerer flere opgaver. Ifølge Wang fik elever, hvis efternavne starter med A, B, C, D eller E en 0,3 point højere karakter ud af 100 mulige point end i forhold til da de blev bedømt tilfældigt. På samme måde fik elever med senere efternavne i alfabetet en 0,3-point lavere karakter – hvilket skabte et hul på 0,6 point.

Wang bemærker for en lille gruppe af gradere (ca. 5%), at karakteren fra Z til A, ændrer karakterforskellen som forventet:A-E-elever er dårligere stillet, mens W-Z-elever får højere karakterer i forhold til, hvad de ville modtage, når de blev bedømt tilfældigt. Sådanne observationer bekræfter deres hypotese om, at det er rækkefølgen af ​​karakterer, der fører til det indledende hul i karakterer.

En forskel på 0,6 point kan virke lille, men en sådan forskel påvirkede elevernes karaktergennemsnit, hvilket har negativ indflydelse på mulighederne i deres respektive karriereforløb.

"Vores konklusion er, at dette kan være noget, der skete ubevidst af klasserne, som faktisk skaber en reel social påvirkning," sagde Wang.

Pei siger, at ideen til undersøgelsen opstod under en diskussion, han havde med Wang, hvor de talte om deres forskning:Hun studerer pædagogisk teknologi, og han studerer kunstig intelligens. Han bemærkede, at en grundlæggende opgave ved maskinlæring er datamærkning, også en sekventiel opgave, der kan være lang og kedelig - men en, der er randomiseret.

Det fik dem til at tænke på uddannelsessystemer som Canvas og førte til nogle pilotundersøgelser for at se, om der var nogen forskel mellem karakterer baseret på mængden af ​​tid brugt på opgaven med karaktergivning.

"Vi har en form for mistanke om, at træthed er en af ​​de vigtigste faktorer, der driver denne effekt, for når du arbejder på noget i en længere periode, bliver du træt, og så begynder du at miste din opmærksomhed, og dine kognitive evner er falder," sagde Pei.

Forskerne bemærker, at der er mulighed for at bedømme opgaverne i en tilfældig rækkefølge, og det gør nogle undervisere, men alfabetisk rækkefølge er standardtilstanden i Canvas og andre online læringsstyringssystemer. En simpel løsning ville være at gøre tilfældig rækkefølge til standardindstillingen.

De foreslår også, at akademiske institutioner kunne ansætte flere gradere til større klasser, fordele arbejdsbyrden blandt flere mennesker eller træne dem til at være opmærksomme på og mindske skævheden under karaktergivning.

Li, Wang og Pei har delt deres forskning på konferencer, og den er blevet positivt modtaget - mange er imponerede over deres arbejde, selvom det bekræfter mistanker, mange nærer. Især én reaktion skiller sig ud for Li - uden tvivl en rynke i informationsalderen på "hunden spiste mine lektier" undskyldning.

"En universitetsstuderende mailede os bagefter og bad os om at dele avisen med ham," sagde hun. "Han nævnte, at hans efternavn startede med W. Han vil fortælle sine forældre, at det ikke er på grund af ham – det er på grund af hans efternavn."

Undersøgelsen er under revision af tidsskriftet Management Science og i øjeblikket tilgængelig som et arbejdspapir.

Flere oplysninger: Zhihan (Helen) Wang et al., 30 millioner lærredsklassificeringsposter afslører udbredt sekventiel skævhed og systeminduceret efternavns indledende forskel (2023). På SSRN :ssrn.com/abstract=4603146

Journaloplysninger: Management Science

Leveret af University of Michigan