Etiske algoritmer

Næsten fyrretusind mennesker mistede livet i bilulykker sidste år alene i USA. Vi kan kun formode, at mange af disse dødsfald skyldtes vores unikke menneskelige skrøbeligheder:distraheret kørsel, kørsel under påvirkning, eller almindelig uerfarenhed. Det er fornuftigt at få menneskelige chauffører væk fra vejene så hurtigt som muligt, og lad maskiner køre.

Det er et argument, alligevel. Der er også et overbevisende argument om at stoppe op og overveje de etiske spørgsmål, som denne nye teknologi viser. Uanset om det er selvkørende biler eller en app til deling af selfies med tvivlsomme privatlivsbeskyttelser, rushen med at levere innovationer til markedet børser ofte etiske overvejelser til side - men flere Duke ECE -professorer skubber tilbage.

Duke ECE -professor Missy Cummings er en tidligere Navy -jagerpilot, der nu leder Humans and Autonomy Lab, eller HAL. Hendes forskning fokuserer på at maksimere menneskeligt og maskinesamarbejde for optimal ydeevne og resultater, og hun er en åbenhjertig "techno-realist", når det kommer til tanken om, at vi næsten er klar til, at meget autonome biler kommer på vejene.

"Førerløse biler kan reducere dødsfald på vejbaner dramatisk, men i øjeblikket, edb -vision systemer på disse biler er ekstremt sprøde, og ikke klar til kørsel uden opsyn, "sagde Cummings." Vi ved, at lange skygger, lave solvinkler, og selv en kvart tommer sne kan få disse systemer til at mislykkes, nogle gange på katastrofale måder - så vi er stadig 10 eller flere år væk fra at opnå fulde førerløse kapaciteter. "

Fabrikanter har brugt omkring 80 milliarder dollar på forskning og udvikling af autonome køretøjer til dato. Størrelsen af ​​denne investering kommer med tryk af samme størrelse; investeringerne skal betale sig, og der er en klar interesse i at skubbe teknologien til et ivrig marked. Endnu, manglerne ved nuværende AV -systemer er veldokumenterede. De er sårbare over for hackere. De er ikke gode til slutningsopgaver - f.eks. at vide, at en bold, der ruller ind i vejen, sandsynligvis vil blive fulgt af et barn, der jagter den. Disse typer af viden og færdighedsfejl, bemærkede Cummings, ville få en menneskelig chauffør til at mislykkes med et kørekort - men der findes i øjeblikket ingen tilsvarende "computer vision" -test, der undersøger ræsonnementsevnen i førerløse biler.

På trods af de autonome systemers tvivlsomme muligheder og manglen på processer til test og certificering af meget autonome køretøjer, imidlertid, de har allerede taget vores veje-i hvad der i det væsentlige er store eksperimenter, der involverer offentligheden uden dens udtrykkelige samtykke.

Cummings sagde, at ønsket om at opnå fuldt autonome køretøjer er nødvendigt for at foretage de trinvise forbedringer, der får os derhen, til sidst. Men skubber teknologien ud i verden, før den effektivt kan reguleres, advarede hun, er både uansvarligt og farligt.

Det er et problem, der rækker langt ud over AV -sektoren.

Professor Cynthia Rudin driver Duke's Prediction and Analysis Lab, og hun er maskinlæringsekspert - specifikt hun er ekspert i at opbygge fortolkelige algoritmer til maskinlæring, i en verden, der i stigende grad er besat af black box -modeller.

"En sort boks -forudsigelsesmodel er en model, der er for kompliceret til, at et menneske kan forstå, eller en formel, der er proprietær, hvilket betyder, at det er skjult af et firma, "sagde Rudin. Black box-algoritmer bruges almindeligvis i applikationer med lav indsats som detailhandel, hvor din alder, indkomst, beskæftigelse, købshistorie, og hundrede andre stumper af data informerer beslutningen om, hvorvidt du vil vise dig en reklame for flybilletter eller vitaminer.

Mere problematisk er black box-modeller, der bruges i beslutninger med stor indsats, som at evaluere kreditrisiko og indstille parole. Disse beslutninger kan i høj grad påvirke folks liv, understregede Rudin, og det er svært for nogen, der er blevet nægtet prøveløsladelse, at udfordre beslutningen, hvis det er umuligt at se, hvordan beslutningen blev nået.

Rudins laboratorium har specialiseret sig i at udvikle simple, fortolkelige modeller, der er mere nøjagtige end de sorte boksmodeller, der i øjeblikket bruges af retssystemet. Ifølge Rudin, du behøver ikke engang en lommeregner til at beregne dem.

"Der er en udbredt tro på, at fordi en model er en sort æske, det er mere præcist, "sagde Rudin." Og det, så vidt jeg kan se, er forkert. Jeg har arbejdet med mange forskellige applikationer - inden for lægehjælp, i energi, i kreditrisiko, i kriminel gentagelse - og vi har aldrig fundet en applikation, hvor vi virkelig har brug for en sort boks. Vi kan altid bruge en fortolkelig model til et beslutningsproblem med store indsatser. "

Begejstringen for black box -modeller, sagde Rudin, bør tempereres ved omhyggelig overvejelse af de mulige konsekvenser.

"Ofte uddanner det akademiske samfund ikke computerforskere i de rigtige emner, "sagde Rudin." Vi træner dem ikke i grundlæggende statistik, for eksempel. Vi træner dem ikke i etik. Så de udvikler denne teknologi uden at bekymre sig om, hvad den bruges til. Og det er et problem. "

Dette år, Duke Engineering etablerede programmet Lane Family Ethics in Technology, som vil integrere etisk uddannelse på tværs af ingeniør- og datalogi -læreplanerne. Programmet understøtter fakultetsstyret kursusindhold, extracurricular activities and an annual symposium focused on ethics in technology.

Stacy Tantum, the Bell-Rhodes Associate Professor of the Practice of Electrical and Computer Engineering, will lead one of the program's first courses this fall. Tantum will work with Amber Díaz Pearson, a research scholar at Duke's Kenan Institute for Ethics, to integrate ethics-focused modules into ECE 580, Introduction to Machine Learning.

Three elements of ethical algorithm development will be emphasized in the course, said Tantum. First is transparency, or why others should be able to easily evaluate all aspects of algorithm design, from the input training data and algorithmic assumptions, to the selection of algorithmic parameters, to the process by which predicted performance is evaluated. Second is algorithmic bias—the conditions that are likely to result in bias, but which are often overlooked, or deemed unimportant. And third is unintended use-cases of algorithms—the potential pitfalls of re-purposing algorithms for use-cases other than those for which they were designed.

"Our goal is to lead students to incorporate ethical considerations as a natural part of algorithm development, not an afterthought to be considered only after an unintended or unanticipated consequence arises, " said Tantum.