Retfærdighed nødvendig i algoritmisk beslutningstagning, siger eksperter

University of Toronto Ph.D. studerende David Madras siger, at mange af nutidens algoritmer er gode til at lave præcise forudsigelser, men ved ikke, hvordan man håndterer usikkerhed godt. Hvis en dårligt kalibreret algoritme træffer den forkerte beslutning, det er normalt meget forkert.

"En menneskelig bruger forstår måske en situation bedre end en computer, om det er information, der ikke er tilgængelig, fordi den er af meget kvalitativ karakter, eller noget, der sker i den virkelige verden, som ikke blev indtastet i algoritmen, " siger Madras, en maskinlæringsforsker i afdelingen for datalogi, som også er tilknyttet Vector Institute for Artificial Intelligence.

"Begge kan være meget vigtige og kan have en effekt på, hvilke forudsigelser der skal [fremstilles]."

Madras præsenterer sin forskning, "Forudsige ansvarligt:​​Øget retfærdighed ved at lære at udskyde, " ved den internationale konference om læringsrepræsentationer (ICLR), i Vancouver i denne uge. Konferencen er fokuseret på metoderne og ydeevnen af ​​machine learning og samler ledere på området.

Madras siger, at han og Toniann Pitassi, en professor i U of T's afdelinger for datalogi og matematik og en beregningsteoretisk ekspert, der også udforsker beregningsmæssig retfærdighed, samt Richard Zemel, en U of T professor i datalogi og forskningsdirektør for Vector Institute, har udviklet deres model med retfærdighed for øje. Hvor der er en vis usikkerhed, en algoritme skal have mulighed for at svare, "Jeg ved det ikke" og udskyde sin beslutning til en menneskelig bruger.

Madras forklarer, hvis Facebook skulle bruge en algoritme til automatisk at tagge folk i billeder, det er måske ikke så vigtigt, hvis taggingen er lavet forkert. Men når individuelle resultater har stor indflydelse, risikoen kan være større. Han siger, at modellen endnu ikke er blevet anvendt på nogen specifik applikation, men snarere tænker forskerne på, hvilke typer af måder, det kunne bruges i sager i den virkelige verden.

"I medicinske omgivelser, det kan være vigtigt at udsende noget, der kan fortolkes - der er en vis usikkerhed omkring dets forudsigelse - og en læge bør beslutte, om behandling skal gives."

Madras' kandidatvejleder Zemel, som vil tiltræde en NSERC Industrial Research Chair i Machine Learning til sommer, undersøger også, hvordan maskinlæring kan gøres mere udtryksfuld, kontrollerbar og retfærdig.

Zemel siger maskinlæring baseret på historiske data, såsom om et banklån blev godkendt eller længden af ​​fængselsstraffe, vil naturligvis opfange skævheder. Og skævhederne i datasættet kan udspille sig i en maskins forudsigelser, han siger.

"I denne avis, vi tænker meget på en ekstern beslutningstager. For at træne vores model op, vi er nødt til at bruge historiske beslutninger, som træffes af beslutningstagere. Resultaterne af disse beslutninger, skabt af eksisterende beslutningstagere, kan være sig selv partiske eller på en måde ufuldstændige."

Madras mener, at det øgede fokus på algoritmisk retfærdighed sideløbende med spørgsmål om privatliv, sikkerhed og sikkerhed, vil hjælpe med at gøre maskinlæring mere anvendelig til applikationer med høj indsats.

"Det rejser vigtige spørgsmål om rollen som et automatiseret system, der træffer vigtige beslutninger, og hvordan man får [dem] til at forudsige på måder, som vi vil have dem til."

Madras siger, at han fortsætter med at tænke på spørgsmål om retfærdighed og relaterede områder, som kausalitet:To ting kan korreleres – fordi de forekommer ofte sammen – men det betyder ikke, at det ene forårsager det andet.

"Hvis en algoritme beslutter, hvornår den skal give nogen et lån, det kan lære, at folk, der bor i et bestemt postnummer, er mindre tilbøjelige til at betale lån tilbage. Men det kan være en kilde til uretfærdighed. Det er ikke sådan, at det er mindre sandsynligt, at du betaler et lån tilbage, hvis du bor i et bestemt postnummer. " han siger.

"Det er et interessant og vigtigt sæt af problemer at arbejde på."