Forbedring af undervisningskvalitet gennem kvalitativ feedback... ved hjælp af maskiner

Elevevaluering af undervisning, eller SET, bruges almindeligvis på videregående uddannelser som feedback på kursusinstruktørers præstationer. Studerende vurderer deres lærere kvantitativt, scorer deres præstationer på en numerisk skala på spørgsmål som "Læreren er forberedt til undervisningen" og "Jeg har lært meget af denne lærer."

Mens numeriske vurderinger giver en håndgribelig måling af en instruktørs præstation i klasseværelset, de måler kun, hvad spørgsmålene stiller. Åbne spørgeskemaer ville afspejle det store billede meget bedre, men de er relativt underudnyttede med hensyn til at udtrække elevernes feedback for at identificere måder, hvorpå man kan forbedre, hvordan et kursus undervises.

Hvorfor det?

"Antag, at jeg underviser omkring 300 elever, 400 studerende og disse studerende giver mig feedback – det er et stort datasæt og manuelt at få indsigt, som er vigtig for at ændre min undervisningsproces eller forbedre min undervisningsproces, er kedeligt og omhyggeligt, " forklarer Swapna Gottipati, Adjunkt i informationssystemer (uddannelse) ved SMU. "Derfor, Jeg er afhængig af en eller anden form for værktøj eller maskine, og dette er et sådant forsøg på at generere dataindsigt meget hurtigt, så fakultetet kan opnå indsigt fra kvalitativ feedback."

Aspekter af feedback

Professor Gottipati henviser til hendes nyligt afsluttede projekt "Learning Analytics on Qualitative Student Feedback to Improve Teaching and Learning in Higher Education, " som blev støttet af Undervisningsministeriets (MOE) Tertiary Education Research Fund. Ved at bruge SMU's interne feedback-system, der sammenholder elevernes slutevalueringer, Professor Gottipati foreslår et læringsanalysesystem kaldet "Course Feedback Analytics System (CFAS)" for at "hjælpe fakultetsmedlemmer med at få dybere indsigt i deres undervisningspraksis, læseplan samt vurderingsudvikling."

Ved at bruge Natural Language Processing (NLP), Professor Gottipati undersøgte fem hovedaspekter af studerendes feedback mellem kvantitativ og kvalitativ feedback, som omfatter emner, Følelser, Forslag, Tid, og Korrelation.

"For det første, det er emnet, hvilke problemstillinger eleverne taler om, " fortæller hun Office of Research and Tech Transfer. "For det andet, det handler om rangeringen af ​​de emner og problemstillinger, som er de vigtigste, fordi vi gerne vil prioritere dem.

"Den tredje er at forstå opfattelserne, som følelser eller meninger fra eleverne. Tager man et fakultets undervisningsstil som eksempel – måske er han eller hun ikke særlig engagerende eller taler meget langsomt, eller med en meget lav stemme. Disse er alle negative tilbagemeldinger. Det kaldes sentiment.

"Og den sidste er de hurtige opsummeringer af kommentarerne. Det betyder en visualisering eller en form for brugervenlig visuals eller rapporter, der kan hjælpe os med at identificere, hvad der skal løses."

Professor Gottipati forklarer, at NLP-modeller er regelbaserede og grammatikbaserede, og reglerne indbygget i en model kan udtrække adjektiver og hvad disse adjektiver refererer til. Det kan også identificere de emner, som eleverne skriver om i deres feedback.

Brug af informationen

Alle data udtrukket fra åbne svar ville være lidt værd, hvis de ikke kunne bruges. Til det formål, CFAS will feature what Professor Gottipati calls interactive 'doughnut' graphics that are not just basic bar graphs and pie charts but those that "expand and pop out the respective negative or positive feedback for the given topics and so on."

Ultimativt, these will help not only the course instructor in fine-tuning their teaching, but will also help course managers and university administrators with macro-level management of the curriculum.

"During our performance evaluations, our reporting officers might give suggestions on how to improve the courses we teach, " says Professor Gottipati, who is also the Interim Associate Dean of Undergraduate Education at the School of Information Systems (SIS). "They should be able to know what happened both within the course, as well as about the course at a macro level. If they are aware of the positive comments provided for other courses, these can also be shared with other faculty for improvement in their teaching."