En ny metode til etisk datavidenskab

Kunstig intelligens transformerer vores verden, nogle gange på måder, som dens skabere ikke havde til hensigt. I Wellcome Data Labs udvikler vi en ny metode til at anvende tilgange fra samfundsvidenskaberne til den måde, AI-algoritmer produceres for at løse datavidenskabelige problemer. Målet er at undgå potentielle negative konsekvenser af algoritmerne ved at identificere dem tidligere i udviklingsprocessen.

Der har allerede været forsøg på at fastlægge en sådan måde at arbejde på. Et eksempel er Catalina Butnarus fremragende indlæg, der foreslår en ny agil etisk proces. Der er meget at anbefale denne tilgang, ikke mindst, at det er systematisk og nøje afstemt i sine trin til velkendte trin i agile softwareudviklingsmetoder.

Imidlertid, Butnaru behandler ikke mekanikken i, hvordan hendes foreslåede Agile etik-proces kunne styres. Er det teamet af dataforskere og ingeniører selv, der er ansvarlige for at følge trinene? Eller deres produktchef? Eller UX-teamet? Eller et separat team til ingeniørerne, der auditerer deres arbejde?

Vi har tænkt meget over sådanne spørgsmål, da vi er ivrige efter at teste, hvordan etiske tilgange kan anvendes på data scientists arbejde i praksis og ikke kun i teorien.

Den vigtigste udfordring, vi stiller os selv, er:hvordan man anvender en proces som Butnarus, eller en af ​​de andre rivaliserende metoder, på en måde, der målbart reducerer etiske spørgsmål, som utilsigtet bias, men reducerer ikke energien og effektiviteten af ​​vores agile produktteams?

Vi mener, at dette kan gøres ved at opmuntre samfundsforskere til at arbejde som en del af tværfaglige teams med softwareudviklere og dataforskere, ved at anvende deres agile og iterative metoder.

Jeg har skitseret nogle af udfordringerne ved at gøre dette. For eksempel, vanskeligheden ved at få samfundsvidenskabelige forskere til at arbejde i samme hastighed og i samme rytme som softwareudviklerne og dataforskerne. Imidlertid, der er en potentiel skabelon at følge ved at lære af den vellykkede integration af User Experience-disciplinen i softwareudviklingens arbejdsgange.

Der er en ekstra udfordring, selvom. At stole på en brugerforsker, der er indlejret i et produktteam, til at styre dette team gennem en Agile etisk metodologi på egen hånd, introducerer risikoen for, at de mister objektivitet. Dette er et velkendt problem inden for etnografisk forskning, hvor der er en aktiv spænding mellem en forskers rolle som uvildig observatør og alternativet at være en aktiv deltager.

En mindre teknisk måde at se det på er, at folk, grundlæggende, er holdspillere:de vil passe ind og kan have svært ved at kritisere deres nære kollegers arbejde. De kan også blive genstand for 'gruppetænkning' uden at være klar over det.

I Wellcome Data Labs har vi udarbejdet en parret tilgang til Agile etik, som har til formål at løse dette problem. Vores foreslåede metode har tre trin:

1. Indlejring i Data Labs en brugerforsker med en baggrund både i at arbejde som en del af Agile produktteams og i at udføre samfundsvidenskabelig forskning. Denne indlejrede forsker vil have det eksplicit definerede mål at teste de algoritmiske modeller, som softwareudviklere og dataforskere arbejder på ud fra deres mulige sociale indvirkning.
2. De vil justere og udvikle deres analyse iterativt for at matche hastigheden af ​​teknologiarbejdet og føre deres nye konklusioner tilbage til dataforskerne for at styre kursen i deres arbejde.
3. Den indlejrede forsker vil blive parret med en anden samfundsforsker uden for holdet for at give en objektiv kritik og de nødvendige checks og balances på deres analyse.

Alle tre dele af den foreslåede metode er lige vigtige.

• Ikke at indlejre forskeren i holdet ville gøre det svært for dem at have en tæt nok viden om, hvad dataforskerne laver.
• Ikke iterativt at genteste og omskrive deres analyse af mulige sociale konsekvenser vil ikke matche rytmen i den teknologiske udvikling  –  den vigtigste foreslåede fordel ved denne metode.
• Endelig, parringen er designet til at forhindre, at den indlejrede forsker risikerer at miste deres faglige løsrivelse og objektivitet, hvilket er en risiko, netop fordi de er så tæt forankret i teknologiteamene.
• Hele denne tilgang er et eksperiment i sig selv, og vi er slet ikke sikre på, at det vil virke. Imidlertid, det er netop det, der gør det spændende for os. Vi håber, at det vil hjælpe os med at blive bedre bevidste om de skævheder, der introduceres af de algoritmer, som vi udvikler, og minimere eventuelle negative, utilsigtede konsekvenser af de værktøjer, teamet producerer.

Dette er vigtigt, fordi velkomst, som en betydelig finansiering af videnskabelig forskning, har en bemærkelsesværdig indvirkning på den akademiske industri og sundhedsindustrien. Og Wellcome Data Labs' analyse indgår i Wellcomes beslutningsproces. Eventuelle utilsigtede skævheder i de algoritmer, mit team producerer, som kan påvirke Wellcomes beslutninger, kunne have en afsmittende effekt på flere finansiørers beslutninger, hvilket igen kunne kaskade ned til sekundære påvirkninger på andre industrier og det bredere samfund. Vi har et ansvar for at få det rigtigt.