Ny ramme gør AI-systemer mere gennemsigtige uden at ofre ydeevnen

Forskere foreslår en ramme for kunstig intelligens (AI), der vil give brugerne mulighed for at forstå rationalet bag AI-beslutninger. Arbejdet er vigtigt, givet push-bevægelsen væk fra "black box" AI-systemer - især i sektorer, såsom militær og retshåndhævelse, hvor der er behov for at begrunde beslutninger.

"En ting, der adskiller vores rammer, er, at vi gør disse fortolkningselementer til en del af AI-træningsprocessen, " siger Tianfu Wu, første forfatter af papiret og en assisterende professor i computerteknik ved North Carolina State University.

"For eksempel, under vores rammer, når et AI-program lærer at identificere objekter i billeder, det lærer også at lokalisere målobjektet i et billede, og at analysere, hvad det handler om den lokalitet, der opfylder målobjektkriterierne. Disse oplysninger præsenteres derefter sammen med resultatet."

I et proof-of-concept eksperiment, forskere inkorporerede rammen i det meget udbredte R-CNN AI objektidentifikationssystem. De kørte derefter systemet på to, veletablerede benchmarkdatasæt.

Forskerne fandt ud af, at inkorporering af fortolkningsrammen i AI-systemet ikke skadede systemets ydeevne med hensyn til hverken tid eller nøjagtighed.

"Vi mener, at dette er et væsentligt skridt hen imod at opnå fuldstændig gennemsigtig AI, " siger Wu. "Men der er udestående problemer at tage fat på.

"For eksempel, rammen har i øjeblikket AI til at vise os placeringen af ​​et objekt de aspekter af billedet, som det anser for at være kendetegnende for målobjektet. Det er kvalitativt. Vi arbejder på måder at gøre dette kvantitativt på, at inkorporere en tillidsscore i processen."