Budsende anti-queer bias i tekstforudsigelse

Moderne tekstforudsigelse er langt fra perfekt – tag for eksempel, når en søgeforespørgsel antyder noget helt andet end din hensigt. Men problemerne ender ikke ved unøjagtighed. Tekstforudsigelse kan også være ekstremt eksklusiv eller forudindtaget, når det kommer til at forudsige resultater relateret til marginaliserede samfund.

Et team af forskere fra USC Viterbi School of Engineering Information Sciences Institute og USC Annenberg School for Communication and Journalism, ledet af Katy Felkner, en USC Viterbi Ph.D. i datalogi studerende og National Science Foundation Graduate Research Fellowship-modtager, har udviklet et system til at kvantificere og rette anti-queer bias i den kunstige intelligens bag tekstforudsigelse.

Projektet, der blev præsenteret af Felkner på Queer in AI-workshoppen på den nordamerikanske afdeling af Association for Computational Linguistics (NAACL) konference i juli, ser på både at opdage og reducere anti-queer bias i en stor sprogmodel, som bruges i alt fra søgefelter til sprogoversættelsessystemer.

Den store sprogmodel, eller LLM, er "hjernen" bag tekstforudsigelsen, der dukker op, når vi skriver noget i en søgelinje - en kunstig intelligens, der "fuldfører" sætninger ved at forudsige den mest sandsynlige række af ord, der følger en given prompt .

Men LLM'er skal først "trænes" ved at blive fodret med millioner af eksempler på forskrevet indhold, så de kan lære, hvordan sætninger typisk ser ud. Som et energisk lille barn gentager LLM det, det hører, og det, det hører, kan være heteronormativt eller endda åbenlyst diskriminerende.

"De fleste LLM'er er uddannet på enorme mængder data, der er gennemgået fra internettet," sagde Felkner. "De vil opfange enhver form for social bias, som du kan forestille dig er derude på nettet."

Få ord, stor effekt

Projektet fandt ud af, at en populær LLM kaldet BERT viste betydelig homofob bias. Denne skævhed måles gennem Felkners benchmark, som sammenligner sandsynligheden for, at LLM forudsiger heteronormative sætninger versus sætninger, der inkluderer et queer-forhold.

"Et heteronormativt output er noget som 'James holdt hånd med Mary' versus 'James holdt hånd med Tom'," sagde Felkner. "Begge er gyldige sætninger, men problemet er, at modellen på tværs af en lang række sammenhænge foretrækker det heteronormative output."

Selvom forskellen kun er nogle få ord, er effekten langt fra lille.

Forudsagte output, der taler om queer-personer på stereotype måder, kan gennemtvinge brugernes skævheder, og modellens manglende 'erfaring' med queer-stemmer kan resultere i, at den ser på queer-sprog som obskønt.

"Et vedvarende problem for queer-mennesker er, at de ord, vi bruger til at beskrive os selv, eller besværgelser, der er blevet genvundet, stadig betragtes som obskøne eller overdrevent seksuelle," sagde Felkner, som også er kandidatrepræsentant for Queers. i Engineering, Science and Technology (QuEST) kapitel i Out in STEM på USC.

"Hvis en model rutinemæssigt markerer disse ord, og disse indlæg derefter fjernes fra de platforme eller fora, de er på, gør du det queer-fællesskab til tavshed."

Fællesskabsinput

For at tackle dette problem gav Felkner BERT en tune-up ved at give den tweets og nyhedsartikler indeholdende LGBT+ søgeord. Dette indhold, der blev brugt til at "træne" BERT, kom fra to separate databaser af Felkners egen skabelse, kaldet QueerTwitter og QueerNews.

Selvom sprogbehandling kræver ekstremt store mængder data – QueerTwitter-databasen indeholdt over 2,3 millioner tweets – sørgede hun for at udskille hashtags, der primært blev brugt af queer- og transpersoner, såsom #TransRightsareHumanRights.

Efterhånden som modellen blev udsat for forskellige perspektiver og fællesskaber, blev den mere fortrolig med queer sprog og problemstillinger. Som et resultat var det mere sandsynligt, at de repræsenterede dem i sine forudsigelser.

Efter at være blevet trænet med de nye, mere inkluderende data, viste modellen signifikant mindre bias. Tweets fra QueerTwitter viste sig at være den mest effektive af de to databaser, hvilket reducerede forekomsten af ​​heteronormative resultater til næsten halvdelen af ​​alle forudsigelser.

"Jeg tror, ​​at QueerTwitters resultater er mere effektive end QueerNews, taler om vigtigheden af ​​direkte samfundsinvolvering, og at queer- og transstemmer - og data fra deres lokalsamfund - vil være det mest værdifulde i at designe en teknologi, der ikke vil skade dem " sagde Felkner. "We were excited about this finding because it's empirical proof of that intuition people already hold:that these communities should have an input in how technology is designed."

Going forward, the project will look to address bias that affects specific parts of the LGBT+ community, using more refined and targeted sets of data and more customized prompts for the model to work with—such as tackling harmful stereotypes around lesbians. Long term, Felkner hopes the project can be used to train other LLMs, help researchers test the fairness of their natural language processing, or even uncover completely new biases.

"We're dealing with how to fight against the tide of biased data to get an understanding of what 'unfair' looks like and how to test for and correct it, which is a problem both in general and for subcultures that we don't even know about," said Jonathan May, USC Viterbi research associate professor of computer science, Felkner's advisor and study co-author. "There's a lot of great ways to extend the work that Katy is doing." + Udforsk yderligere

Queer young people in Australia face disproportionate challenges