En måde at screene elevernes feedback for at sikre, at den er nyttig, ikke misbrug (og akademikere behøver ikke at brænde den)

I denne uge vil mange australske universiteter sende akademikere resultaterne af første semesters studerendes evalueringsundersøgelser.

For nogle vil dette være en bekymrende og ubehagelig tid. De kommentarer, universitetsstuderende kommer med anonymt i deres undervisningsevalueringer, kan få akademikere til at føle sig bange, fortvivlede og demoraliserede.

Og med god grund. Som en undersøgelse fra 2021 blandt australske akademikere og deres erfaringer med elevernes feedback fandt:"Personligt destruktive, ærekrænkende, krænkende og sårende kommentarer blev almindeligvis rapporteret."

Sårende eller krænkende kommentarer kan forblive permanent registreret som et mål for ydeevne. Disse optegnelser kan påvirke ansøgninger om forfremmelse eller om sikker fortsat beskæftigelse.

Forfatterne af 2021-undersøgelsen, ledet af Richard Lakeman ved Southern Cross University, har været blandt dem, der opfordrer til, at anonyme online-undersøgelser skal skrottes. Nogle akademikere, brændt af deres oplevelse af elevernes feedback, siger, at de ikke længere åbner eller engagerer sig i elevevalueringsrapporter. De sagde, at risikoen for skade opvejede alle fordele.

I Netflix-showet The Chair ser en mindeværdig scene karakteren professor Joan Hambling brænde sine studenterevalueringer. Det er klart, at der er brug for en anden løsning.

Feedback fra elever kan stadig være værdifuld for at løfte undervisningsstandarderne, og det er vigtigt, at eleverne siger deres mening.

Vi har udviklet et screeningssystem, der bruger maskinlæring (hvor software ændrer sin adfærd ved at "lære" fra brugerinput), som giver eleverne mulighed for at tale om deres oplevelser, mens de beskytter akademikere mod uacceptable kommentarer.

Hvorfor en ny tilgang er nødvendig

Universitetets adfærdskodeks minder de studerende om deres generelle forpligtelse til at afstå fra krænkende eller diskriminerende adfærd, men ikke specifikt med hensyn til studerendes evalueringer.

I stedet er universiteterne afhængige af selvregulering eller på, at andre rapporterer hændelser. Nogle institutioner bruger bandeordsblokkere til at screene kommentarer. Selv da kan disse ofte ikke opdage nye vilkår for misbrug i onlinetale.

Så ved opsætningen af ​​vores screeningssystem ønskede vi at:

• fremme personalet og elevernes trivsel
• forbedre pålideligheden og validiteten af ​​elevernes feedback
• forbedre tilliden til undersøgelsesresultaternes integritet

Vi udviklede en metode, der bruger maskinlæring og en ordbog med termer til at screene for uacceptable elevers kommentarer. Ordbogen blev skabt af QUT ved at trække på historisk identificerede uacceptable kommentarer og inkorporere tidligere forskning i misbrug og diskriminerende termer.

Vores 'Screenomatic'-løsning

Der er ikke meget publiceret arbejde om afsløring af uacceptable eller krænkende kommentarer i elevevalueringsundersøgelser. Så vores team tilpassede tidligere forskning i at opdage kvindefjendske tweets. Dette virkede, fordi de studerendes kommentarer, vi så på, ofte svarede til en tweets begrænsning på 280 tegn.

Vores tilgang, som vi kalder "Screenomatic", gennemgik automatisk mere end 100.000 elevers kommentarer i løbet af 2021 og identificerede dem, der så ud til at være misbrug. Uddannede evalueringsmedarbejdere gennemgik manuelt omkring 7.000 markerede kommentarer og opdaterede maskinlæringsmodellen efter hvert semester. Hver opdatering forbedrer nøjagtigheden af ​​automatisk registrering.

I sidste ende blev 100 kommentarer fjernet, før resultaterne blev frigivet til undervisere og vejledere. Universitetets politik gør det muligt at genidentificere kommentarer i tilfælde af potentiel forseelse. Det centrale evalueringsteam kontaktede disse studerende og mindede dem om deres forpligtelser i henhold til adfærdskodeksen.

Screenomatic-modellen kan hjælpe med at beskytte både undervisere og elever. Personalet er beskyttet mod overgreb, og elever i risikozonen - som kommer med kommentarer, der indikerer, at de har brug for mental sundhed, omfatter påstande om mobning eller chikane, eller som truer personalet eller andre elever - kan tilbydes støtte. Universiteter kan dele data for at træne modellen og vedligeholde valuta.

Det er vigtigt, at processen gør det muligt for universiteter at handle moralsk for at udnytte elevernes stemmer og samtidig beskytte folks velbefindende.

Nyttig feedback, ikke misbrug

Antallet af pædagoger, der modtager krænkende feedback, kan være relativt lille. Det er dog stadig uacceptabelt, at universiteter fortsætter med at udsætte deres personale for stødende kommentarer i fuld viden om deres potentielle indflydelse.

Med sidste års højesteretsdom om ansvar for ærekrænkende indlæg og forsøg på at forbedre sikkerheden på nettet, er der en voksende erkendelse af, at folk ikke bør være i stand til at sende anonyme, skadelige beskeder.

Når alt kommer til alt, er omkostningerne ved screening af svar ingenting sammenlignet med omkostningerne for enkeltpersoner (inklusive mentale helbred eller karrieremæssige konsekvenser). Og det er at ignorere de potentielle omkostninger ved retssager og juridiske skader.

I slutningen af ​​dagen bliver de anonyme kommentarer læst af rigtige mennesker. Som et tweet som svar på Lakeman-resultaterne bemærkede:

Screenomatic-modellen går langt hen imod at gøre det muligt for "tonsvis af nyttig feedback" at tjene det tilsigtede formål og samtidig sikre, at folk ikke kommer til skade i processen. + Udforsk yderligere

Problematisk anonym elevfeedback om lærere

Denne artikel er genudgivet fra The Conversation under en Creative Commons-licens. Læs den originale artikel.