Ny statistisk model forbedrer forudsigelseskraften af ​​standardiserede testresultater

Et iøjnefaldende essay, høje karaktergennemsnit og fremragende standardiserede testresultater er nogle gange ikke nok til optagelse på college.

Den igangværende skoleoptagelsesskandale understreger, hvor indflydelsesrig en standardiseret testscore er blevet. En testadministrator samarbejder nu med undersøgelsen af ​​andre forældre, der har betalt for at få deres børns testresultater fastsat.

College optagelsesbeslutninger bruger standardiserede testresultater som en forudsigelse for, hvor godt en ansøger vil klare sig på college. Men hvad nu hvis der var en bedre måde at forudsige læring på - en der ikke var afhængig af en enkelt, high-stakes test?

Forskere fra Arizona State University og University of Denver har udtænkt en måde at forudsige akademisk præstation på, der er tre gange mere forudsigelig end en enkelt standardiseret vurdering. Forskerholdet udviklede og validerede en statistisk model, der bruger let tilgængelige testresultater til at forudsige fremtidige akademiske præstationer. Undersøgelsen vil blive offentliggjort i Multivariat adfærdsforskning .

"Alle bliver påvirket af test på et eller andet tidspunkt - test bruges til at træffe beslutninger om optagelse på skoler og nogle gange endda jobformidling - og den model, vi udviklede, fanger, hvad der foregår i dataene og forudsiger fremtidige resultater bedre end eksisterende metoder , " sagde Daniel McNeish, adjunkt i psykologi ved ASU og førsteforfatter på papiret.

Nuværende evner forudsiger ikke altid fremtidig læring

Det erklærede formål med mange standardiserede tests er en engangsvurdering, ikke at informere om langsigtede præstationer. Disse tests bruges nogle gange til at forudsige den fremtidige præstation for enhver, der tager testen, men få test gør det faktisk godt, sagde Denis Dumas, som er assisterende professor ved University of Denver og anden forfatter på papiret. Ideen om, at en enkelt test ikke kan måle en elevs fremtidige læringspotentiale tilstrækkeligt, er ikke ny:Sociologen, historiker og borgerrettighedsaktivist W.E.B. DuBois rejste det for næsten et århundrede siden.

"Testresultater fra et enkelt tidspunkt giver et godt øjebliksbillede af, hvad nogen ved på testtidspunktet, men de er ofte ude af stand til at give information om potentialet til at lære, " tilføjede Dumas. "Testresultater bruges ofte til at angive, hvor meget en person kan have gavn af fremtidig uddannelse, som at gå på college, men dette koncept er helt anderledes end, hvor meget testpersonen ved lige nu."

For at udvikle modellen, forskerholdet tog inspiration fra arbejdet fra en israelsk psykolog ved navn Reuven Feuerstein, som testede børn, der havde overlevet Holocaust, til skole- og klasseplacering. Opgaver på klassetrin baseret på én testscore var ofte for lave, så Feuerstein udviklede et testsystem kaldet dynamisk vurdering, der brugte flere testresultater indsamlet over tid til at måle børns evne til at lære, i stedet for deres nuværende vidensniveau. Dynamisk vurdering er arbejdskrævende og er vanskelig at implementere i stor skala. Forskerholdet løste dette problem ved at udnytte fremskridt inden for matematiske modeller og computerkraft til at skabe en ny metode, som de kalder en dynamisk målemodel.

Forbindelse af prikkerne

Den dynamiske målemodel bruger en række testresultater til at forudsige fremtidig indlæringskapacitet. Modellen passer en kurve gennem testresultaterne over tid, som normalt ligner et sidelæns bogstav "J" og ofte kaldes en "indlæringskurve". Punkterne på indlæringskurven repræsenterer mængden af ​​nuværende viden, og kurvens maksimum eller loft er læringspotentialet. Ved at bruge standardiserede testresultater fra børnehave til ottende klasse, holdet viste for nylig, at den dynamiske målemodel kunne passe ind i læringskurven og forudsige læringspotentiale.

Forskerholdet ville vide, hvor langt ude modellen kunne forudsige læringspotentiale og dermed hvor præcis den faktisk var. De brugte tre datasæt, der stammede fra Institute of Human Development ved University of California, Berkeley. Datasættene inkluderer testresultater fra deltagere, der startede, da de var 3 år gamle i 1920'erne og 1930'erne. Deltagerne blev undersøgt i årtier, indtil de var i 50'erne, 60'erne, og 70'erne.

Fordi de fleste standardiserede tests foregår i skolen, forskerholdet brugte den dynamiske målemodel til at passe til testresultaterne fra UC Berkeley-deltagerne var 20 år og yngre. Holdet forudsagde det fremtidige læringspotentiale for hver deltager ved at lade modellen afslutte kurven. Derefter, de sammenlignede de faktiske testresultater i alderen 50-70 år med, hvad modellen forudsagde.

"Den dynamiske målemodel fangede tre gange variansen som andre metoder, inklusive enkelttidspunktstestresultater. Med andre ord, vores model forudsagde de senere resultater – et individs realiserede læringspotentiale – tre gange bedre, " sagde McNeish. "Elever testes så ofte nu for at måle deres fremskridt, men at have flere point pr. elev kan tjene et formål ud over at måle fremskridt. De kan kombineres til en enkelt læringspotentiale score for at forbedre forudsigelser af, hvor folks færdigheder og evner forudsiges at ende i fremtiden, hvis de fastholder den samme bane."

Udnyttelse af potentialet i standardiseret test

Brug af dynamisk målemodellering til at forudsige elevernes fremtidige læringspotentiale kræver ikke ændringer i politik eller nye tests. De nødvendige testresultater til modellen findes allerede og er tilgængelige på grund af vedtagelsen af ​​No Child Left Behind Act og Every Student Succeeds Act.

"Dynamisk målemodellering kræver ikke en specialiseret computer for at køre og tager ikke meget længere tid end standard statistiske modeller, der bruges på dette område, " sagde McNeish. "Logistisk, alle brikkerne er der for at implementere det i morgen."

Forskerholdet arbejder i øjeblikket på at udvikle software til at formidle den dynamiske målemodel.