Fortaler for algoritmisk integritet:Implikationerne af menneskelig interaktion med teknologi

Vi bærer det, se det, arbejde med det – og kan lide adskillelsesangst, når det ikke er tilgængeligt. Hvad er implikationerne af menneskelig interaktion med teknologi, især når det bruges til at forudsige eller overvåge os?

Som en del af sit første program, Algoritmisk kultur, instituttet for politik, Etik, og kultur ved Michigan Technological University bragte fortaler for social retfærdighed og tankeleder Marika Pfefferkorn til campus for at fortælle om sit arbejde. I denne Q&A, Pfefferkorn deler mere om sin græsrodsaktivisme, hvordan det spreder sig over hele landet og de handlinger, hun håber, vores samfund vil tage i kølvandet på hendes besøg.

Q:Hvad laver du, og hvordan kom du ind i dette arbejde?

A:Minneapolis-St. Paul-baserede Twin Cities Innovation Alliance (TCIA) er en koalition, der repræsenterer en tværsektor af offentlige, private og lokale organisationer, selskaber og institutioner. TCIA blev grundlagt for at være proaktiv omkring fremkomsten af ​​smarte byer og for at engagere sig i iværksætterløsninger, der fører til forbundne fællesskaber. Vi fokuserer på vigtigheden og rollen af ​​data på tværs af domænerne i Smart Cities, herunder uddannelse, regeringsførelse, infrastruktur og transport.

Data er som ilt for Smart Cities, og vi indså fra begyndelsen, at det var og er bydende nødvendigt at dele det løfte og de farer, der eksisterer på grund af brugen af ​​deres data med medlemmer af fællesskabet. Nu udvides vores arbejde landsdækkende.

Spørgsmål:Hvad fik dig til at interessere dig for den iboende bias i prædiktive algoritmer?

A:I 2018, 43 skoledistrikter i Minnesota blev identificeret af Minnesota Department of Human Rights for at diskriminere mod sorte, brune og oprindelige elever i subjektive suspensioner uden for skolen. Når Ramsey County, byen St. Paul og St. Paul offentlige skoler indgik en fælles magtaftale med integreret datadeling, de foreslog at anvende prædiktive analyser og bruge en risikovurdering til at tildele en risikoscore til at markere børn i risiko for fremtidig involvering i ungdomsretssystemet. Da jeg fandt ud af, at de foreslog at bruge suspendering uden for skolen som en indikator for deres risikovurdering, Jeg var bekymret, fordi de data, de ville indtaste, var forkerte og racemæssigt forudindtaget mod farver af studerende og elever, der modtog specialundervisningstjenester. Jeg erkendte, at beslutningstagere og politiske beslutningstagere ikke havde gjort deres due diligence for at beskytte vores elever mod raceprofilering eller stigmatiserende etiketter, der ville følge dem langt ud over deres grundskoleuddannelse.

Spørgsmål:Du fandt ud af, at både de familier, der kunne blive berørt af en problematisk algoritme, og de embedsmænd, der støttede aftalen om datadeling som en mere effektiv og effektiv måde at hjælpe deres lokalsamfund, havde videnshuller og/eller følte sig skræmt over at diskutere digital teknologi. Hvordan fungerede den koalition, du organiserede, for at få information til folk?

A:Når vi erkendte, at ingen virkelig forstod implikationerne af en så omfattende fælles magtaftale, Coalition to Stop the Cradle to Prison Algorithm investerede tid i at nedbryde dokumentet stykke for stykke:hvis vi havde spørgsmål, vi stillede, hvis vi havde bekymringer, navngav vi dem, og hvis vi havde brug for klarhed, fik vi adgang til vores fællesskabsnetværk og nåede ud til partnere som Minnesota ACLU og Data for Black Lives. Som vi lærte, Vi skabte værktøjer, som alle kan bruge som katalysator til mere konstruktive samtaler. Et eksempel på dette er den politiske orientering, vi skabte og delte med vores folkevalgte og interessenter for at forklare vores bekymringer og fremhæve problematiske aspekter af aftalen. Vi engagerede forældre som ambassadører og støttede deres bestræbelser på at få budskabet ud. Vi var vært for flere fællesskabstopmøder og fora, der placerede andre fællesskabsmedlemmer som eksperter til at tale om, hvad der foregik og deres bekymringer. Vi var vært for en Dare to Data -klinik og en algoritmisk forbedringsworkshop for at hjælpe med at afbryde meget af den intimidering, vores samfundsmedlemmer følte, når de navigerede juridisk eller teknisk sprog med folkevalgte embedsmænd og beslutningstagere.

Spørgsmål:Folk kan efterlades med det indtryk, at du er anti-data. Er det tilfældet?

A:Jeg griner, når folk tror, ​​jeg er anti-data, fordi så meget af mit arbejde er afhængig af at have adgang til gode data til at fortælle hele historien. For mange mennesker i dette arbejde, der er intet problem – medmindre du kan bevise, at der er et problem med data. Meget af mit arbejde med disciplinforskelle kræver, at jeg går ind for større dataindsamling omkring suspensioner, kontorhenvisninger og udvisninger; min bekymring vil altid være, hvordan vi beskytter elevdata mod misbrug og misbrug – hvorfor er virkelig vigtigt.

Spørgsmål:Nogle gange føles det som om, at mange af os simpelthen går fra computer til computer, fra vores ure og biler til vores hjemmeassistenter. Hvordan tror du, et ordentligt forhold til teknologi ser ud?

A:Et ordentligt forhold til teknologi begynder med at forstå, at teknologi er et værktøj, og at huske vores menneskelighed kommer først. Teknologi er ikke sølvkuglen, teknologi er ikke svaret på alt, og teknologien skal holdes i korrekt perspektiv, ikke udsat som neutral, ovenstående spørgsmål. Mest vigtigt, teknologiens rolle skal gøres gennemsigtig.

Q:Seneste overskrifter, herunder anklager om kreditkort kønsbias og indsamling af "hemmelige" økonomiske resultater (sider og sider med data, baseret på alt fra takeaway-madbestillinger til tv-vaner) afsløre, hvor lidt privatliv vi faktisk har. Er privatliv muligt i en algoritmisk tidsalder?

A:Vi er ved et vendepunkt i vores demokrati, hvor folk er villige til at give barnet væk med badevandet uden virkelig at forstå den langsigtede indvirkning af privatlivets fred i en algoritmisk tidsalder. Teknologivirksomheder satser på dette. Jeg tror, ​​det er forældrenes rolle, pædagoger, skoledistrikter, stater og den føderale regering til bedre at ruste folk til at forstå og navigere i denne nye teknologiske æra - især vores digitale indfødte, der ikke ved anderledes. En masseuddannelse skal være en prioritet, hvis vi skal beskytte den privatlivsbeskyttelse, der findes. Vi kan ikke tage vores privatliv for givet.

Q:Du mødtes med fakultetet, studerende og ansatte tidligere på måneden. Hvad er nogle af de mest meningsfulde interaktioner, du havde på campus?

A:Jeg nød virkelig mit Michigan Tech-besøg. Jeg lærte så meget om Institut for Politik, Etik, og kultur fra de stiftende komitémedlemmer, jeg mødtes med – jeg hørte deres vision for IPEC blive levende, da de beskrev det arbejde, de håber at kunne udføre. Jeg håber, at jeg får mulighed for at fortsætte med at arbejde med dem, mens de ruller dette arbejde ud.

Min yndlingsdel af besøget var at engagere sig med studerende i en lov og samfundsklasse, og møde med datalogi fakultet og studerende. Selvom mange af de studerende, jeg interagerede med, måske har et meget anderledes verdensbillede, gennem vores historiefortælling og diskussion fandt jeg fælles fodslag og ægte interesse for emnerne big data, prædiktive analyser og algoritmer. Jeg gik også væk med en ny læseliste. Jeg fandt ud af, at de fleste elever virkelig var ligeglade, stillede gode spørgsmål og var engageret i samtalen, fordi de skabte en personlig forbindelse mellem teori og oplevelse i det virkelige liv.

Q:Hvad er det, du bragte til vores samfund, som du håber vil blive hos os?

A:Integreret datadeling, anvendelsen af ​​prædiktiv analyse og brug af algoritmer er ikke en ny praksis, but community members must be aware and prepared to participate in discussions and decision-making processes about their use to ensure that outcomes are not separate from the communities they are intended to serve and to know that certain students are more negatively impacted from others. When we talk about data and systems, we must recognize the harm that communities have experienced in the misuse of data and systems, and the individuals that represent them must do everything in their power to repair that harm and begin to build trust before any next steps are taken.

Q:What's next for your projects?

A:The Twin Cities Innovation Alliance has launched the Data for Public Good Campaign to work side by side with communities to identify emerging technological trends in education across the country for the purpose of creating a heat map to follow the development, resources and policies at play. We will convene these community co-researchers to identify recommendations and guidelines from a community perspective as another tool for communities to use in protecting individual data and ensuring trust between systems and communities.