Randomiserede forsøg i økonomi:hvad kritikerne har at sige

Nobelprisen 2019 er blevet tildelt tre forskere for banebrydende nylige forsøg på at besvare mikroøkonomiske spørgsmål i udvikling ved hjælp af randomiserede eksperimenter.

I løbet af de sidste tre årtier er randomiserede forsøg blevet en mere og mere populær måde at teste interventioner designet til at adressere udviklingsmæssige udfordringer.

Men de er kontroversielle. En række forskere har kritiseret brugen af ​​tilgangen i udviklingsforskning. Kritikken har berørt en række dimensioner. Disse omfatter spørgsmål om etiske, metodiske begrænsninger og faren for, at politiske indsatser bliver reorienteret til små interventioner. Der er heller ingen evidens for, at tilgangen fører til bedre udviklingsresultater.

Det akademiske arbejde, vi har været involveret i, har peget på problemer med informeret samtykke og farerne for en interessekonflikt i eksperimenter med stor politisk og økonomisk indsats. Og vist, at der er grundlæggende metodiske modsætninger i hjertet af vægten på randomiserede forsøg til politik.

Metodiske problemer

Argumentet for at bruge randomiserede eksperimenter er, at de giver pålidelige skøn over årsagsvirkningerne af potentielle politiske indgreb. Og at de derfor også er den bedste kilde til evidens for politik.

Men forskere i økonomi har protesteret mod begge disse påstande. Disse kritikpunkter går tilbage til midten af ​​1990'erne.

Først, til forsøgene. En vigtig kritik er, at etablering af en intervention i sig selv kan påvirke resultatet. For eksempel, individuel adfærd kan påvirke, hvem der deltager i et eksperiment. Det kan også påvirke den måde, deltagere og ikke-deltagere reagerer på interventionen.

Tag et eksperiment, hvor tilfældigt udvalgte skolebørn får ekstra undervisning. En konsekvens kan være, at forældre til ikke-udvalgte elever vil kompensere ved at betale for vejledning. Eller de kunne bruge mere tid på at hjælpe med lektier. For deres vedkommende forældre til udvalgte elever kan reducere denne indsats.

I situationer som denne har ideen om at etablere en simpel kausal virkning vist sig at være yderst tvivlsom.

Ud over, de fleste eksperimenter giver kun forskere mulighed for at beregne gennemsnitlige effekter på tværs af grupper. Men af ​​politiske årsager, det er ofte nødvendigt at have en fornemmelse af, hvordan interventioner påvirker forskellige mennesker.

Forbundet med dette er det faktum, at den faktiske effekt af en intervention kan ændre sig væsentligt (på godt og ondt), når det implementeres i stor skala.

Eksperimenter gennemføres normalt af forskerhold eller deres ikke-statslige organisationspartner. Men opskalerede politikker implementeres af regeringer. Dette introducerer et yderligere sæt dynamikker, der kan påvirke implementeringen.

Det største problem er måske, at der er mange andre faktorer, der kan påvirke resultaterne af interventioner:Forskere ved ofte ikke, hvad disse er, og måler dem ikke. Så at beslutte på forhånd, om en intervention, der så ud til at have positive resultater ét sted vil gøre det samme andre steder, bliver et spørgsmål om gætværk.

Dette underminerer påstande fra tilhængere af disse metoder om, at randomiserede eksperimenter fører til mere 'strenge' politiske beslutninger end andre tilgange.

Etiske problemer

Blandt de etiske problemer, en bekymring er, at sociale eksperimenter i udviklingslande står over for alvorlige problemer med informeret samtykke. Mange eksperimenter allokerer tilfældigt interventioner til hele klynger, såsom skoler eller hospitaler, hvilket gør det meget svært for deltagerne at melde sig ud.

Og de fleste eksperimenter involverer også mennesker, der er meget fattige. De er mere tilbøjelige til at være ude af stand til at træffe meningsfulde valg om at deltage, især hvis det er i bytte for hårdt tiltrængt indkomst eller tjenester.

Manglen på informeret samtykke øger også risikoen for utilsigtet skade. Hvis deltagerne er klar over, at de er i et eksperiment, så kan de advare forsøgsledere om utilsigtede negative konsekvenser. Dette er vigtigt, når eksperimenter allokerer kritiske ressourcer, indkomst eller sundhedspleje, til fattige mennesker. At tilbageholde eller give ressourcer til bestemte grupper kan skade sårbare grupper eller føre til stridigheder, der er socialt destabiliserende.

Disse og andre etiske bekymringer har fået en respekteret økonom til at opfordre til et moratorium for sociale eksperimenter, indtil effektive etiske sikkerhedsforanstaltninger er på plads.

En distraktion

Udviklingsøkonomiens pionerer forstod udvikling som en fundamental transformation på samfundsniveau. Dette krævede at gå ud over marginale forbedringer af status quo. I denne opfattelse, Udvikling var i høj grad resultatet af bæredygtige stigninger i indkomstniveauet i samfundet. Gennem den detaljerede undersøgelse af de nu udviklede landes historie, pionererne konkluderede, at en sådan transformation var resultatet af industrialiseringen.

En mængde forskning gennem de sidste 20 til 30 år peger også på industrialiseringens forrang i de østasiatiske og kinesiske udviklings-"mirakler".

Den eksperimentelle drejning i udviklingsøkonomi har desværre distraheret forskning og politisk arbejde fra sådanne ældgamle udviklingsprioriteter. Og under alle omstændigheder, nogle af de foretrukne mikro-interventioner fra de nye udviklingsøkonomer (prissætning af myggenet, levering af skoleflipover, og så videre) ville være resultater – snarere end årsager – til transformativ udvikling.

Angus Deaton, nobelpristageren for økonomi 2015, har hævdet, at i Storbritanniens tilfælde fulgte spektakulære forbedringer i velvære i slutningen af ​​det 18. og begyndelsen af ​​det 19. århundrede i hælene på stigninger i det generelle indkomstniveau i økonomien. Øgede samfundsindkomster gjorde det muligt for det britiske samfund at samle de nødvendige ressourcer til at investere i, for eksempel, storstilet offentlig sanitetsinfrastruktur.

Tilhængerne af randomiserede eksperimenter i udvikling er, derfor, formentlig skyldig i at sætte vognen foran hesten.

En sidste kritisk bekymring er, at der ikke er noget historisk bevis, der understøtter påstanden, gentaget i dette års Nobelpris for økonomi, at den eksperimentelle tilgang til udviklingspolitikken faktisk giver hurtigere vækst eller udvikling.

Mange lande har vokset deres økonomier og udviklet sig på forskellige måder, uden at politiske beslutninger er afhængige af, eller prioritering, randomiserede eksperimenter.

Som vi har bemærket, sådanne eksperimenter adresserer kun et begrænset sæt af mulige udviklingsmekanismer, der er modtagelige for randomiserede eksperimenter og falder sammen med forskernes egne allerede eksisterende synspunkter. For eksempel, lærerfravær reduceres til et groft spørgsmål om incitamenter, snarere end et sæt komplekse systemiske faktorer, og gjort til genstand for et eksperiment, hvor fremmødet overvåges. Og disse eksperimenter har sjældent noget grundlag, enten i teorien eller i praksis, for at blive opskaleret eller anvendt i andre sammenhænge.

Et område af særlig bekymring, som har været genstand for meget af Nobelprismodtagernes arbejde, er uddannelse. Vores tidligere og kommende arbejde giver anledning til adskillige bekymringer med uddannelseseksperimenter. Det metodiske grundlag for at hævde politisk relevans af selv populære eksperimenter som randomisering af skoleklassestørrelse er dybt mistænkelig. Nogle sådanne eksperimenter har vist sig at være ulovlige og forfatningsstridige. Og en trickle down-effekt af denne tilgang til lokal forskning har været at ignorere eller benægte den rolle, der spilles af utilstrækkelige samlede offentlige ressourcer til uddannelse.

I betragtning af alle disse faktorer, vi foreslår, at i stedet for at fremme udvikling og fattigdomsbekæmpelse, den tilgang, som dette års økonomiske Nobelvindere fortaler for, kunne faktisk holde fremskridt tilbage i udviklingslandene.

Denne artikel er genudgivet fra The Conversation under en Creative Commons -licens. Læs den originale artikel.