Vi bad kunstig intelligens om at analysere en grafisk roman – og fandt både grænser og ny indsigt

Med den ene ægtefælle, der studerer udviklingen af ​​kunstig og naturlig intelligens, og den anden forsker i sproget, Tysklands kultur og historie, forestil dig diskussionerne ved vores middagsbord. Vi oplever ofte det stereotype sammenstød i synspunkter mellem det kvantificerbare, målingsbaseret tilgang til naturvidenskab og den mere kvalitative tilgang til humaniora, hvor det vigtigste er, hvordan folk føler noget, eller hvordan de oplever eller fortolker det.

Vi besluttede at tage en pause fra det mønster, for at se, hvor meget hver tilgang kunne hjælpe den anden. Specifikt, vi ønskede at se, om aspekter af kunstig intelligens kunne dukke op på nye måder at fortolke en faglitterær grafisk roman om Holocaust. Vi endte med at finde ud af, at nogle AI-teknologier endnu ikke er avancerede og robuste nok til at levere nyttig indsigt – men enklere metoder resulterede i kvantificerbare målinger, der viste en ny mulighed for fortolkning.

Valg af tekst

Der er masser af forskning tilgængelig, der analyserer store tekstmængder, så vi valgte noget mere komplekst til vores AI-analyse:Reinhard Kleists "The Boxer, " en grafisk roman baseret på den sande historie om, hvordan Hertzko "Harry" Haft overlevede de nazistiske dødslejre. Vi ønskede at identificere følelser i hovedpersonens ansigtsudtryk, der vises i bogens illustrationer, for at finde ud af, om det ville give os en ny linse til at forstå historien.

I denne sort-hvide tegneserie, Haft fortæller sin forfærdelige historie, hvor han og andre koncentrationslejrfanger blev tvunget til at bokse hinanden ihjel. Historien er skrevet fra Hafts perspektiv; indblandet i hele fortællingen er paneler af flashbacks, der skildrer Hafts minder om vigtige personlige begivenheder.

Den humanistiske tilgang ville være at analysere og kontekstualisere elementer af historien, eller fortællingen som helhed. Kleists grafiske roman er en nyfortolkning af en biografisk roman fra 2009 af Hafts søn Allan, baseret på, hvad Allan vidste om sin fars oplevelser. At analysere dette komplekse sæt af forfatteres fortolkninger og forståelser tjener måske kun til at tilføje endnu et subjektivt lag oven på de eksisterende.

Fra videnskabsfilosofiens perspektiv, det analyseniveau ville kun gøre tingene mere komplicerede. Forskere kan have forskellige fortolkninger, men selvom de alle var enige, de ville stadig ikke vide, om deres indsigt var objektivt sand, eller om alle led af den samme illusion. At løse dilemmaet ville kræve et eksperiment rettet mod at generere en måling, som andre kunne reproducere uafhængigt.

Reproducerbar fortolkning af billeder?

I stedet for at fortolke billederne selv, at udsætte dem for vores egne fordomme og forforståelser, vi håbede, at kunstig intelligens kunne bringe et mere objektivt syn. Vi startede med at scanne alle panelerne i bogen. Derefter kørte vi også Googles vision AI og Microsoft AZUREs ansigtsgenkendelse og følelsesmæssige karakterannotering.

Algoritmerne, vi brugte til at analysere "The Boxer", blev tidligere trænet af Google eller Microsoft på hundredtusindvis af billeder, der allerede er mærket med beskrivelser af, hvad de skildrer. I denne træningsfase AI-systemerne blev bedt om at identificere, hvad billederne viste, og disse svar blev sammenlignet med de eksisterende beskrivelser for at se, om det system, der trænes, var rigtigt eller forkert. Træningssystemet styrkede elementerne i de underliggende dybe neurale netværk, der producerede korrekte svar, og svækkede de dele, der bidrog til forkerte svar. Både metoden og træningsmaterialerne – billederne og annoteringerne – er afgørende for systemets ydeevne.

Derefter, vi slog AI'en løs på bogens billeder. Ligesom på "Family Feud, "hvor seriens producenter stiller 100 fremmede et spørgsmål og tæller op, hvor mange der vælger hvert potentielt svar, vores metode beder en AI om at bestemme, hvilke følelser et ansigt viser. Denne tilgang tilføjer et nøgleelement, der ofte mangler ved subjektiv fortolkning af indhold:reproducerbarhed. Enhver forsker, der ønsker at tjekke, kan køre algoritmen igen og få de samme resultater, som vi gjorde.

Desværre, vi fandt ud af, at disse AI-værktøjer er optimeret til digitale fotografier, ikke scanninger af sort-hvide tegninger. Det betød, at vi ikke fik meget pålidelige data om følelserne på billederne. Vi var også foruroligede over at opdage, at ingen af ​​algoritmerne identificerede nogen af ​​billederne som relateret til Holocaust eller koncentrationslejre - selvom menneskelige seere let ville identificere disse temaer. Forhåbentlig, det er fordi AI'erne havde problemer med selve sort-hvide billederne, og ikke på grund af uagtsomhed eller skævhed i deres træningssæt eller anmærkninger.

Bias er et velkendt fænomen inden for maskinlæring, som kan have virkelig offensive resultater. En analyse af disse billeder udelukkende baseret på de data, vi fik, ville ikke have diskuteret eller anerkendt Holocaust, en undladelse, der er i strid med loven i Tyskland, blandt andre lande. Disse fejl fremhæver vigtigheden af ​​kritisk evaluering af nye teknologier, før de bruges mere bredt.

At finde andre reproducerbare resultater

Fast besluttet på at finde en alternativ måde for kvantitative tilgange til at hjælpe humaniora, vi endte med at analysere billedernes lysstyrke, sammenligne flashback-scener med andre øjeblikke i Hafts liv. Til det formål, vi kvantificerede lysstyrken af ​​de scannede billeder ved hjælp af billedanalysesoftware.

Vi fandt ud af, at gennem hele bogen, følelsesmæssigt glade og lette faser som hans fængselsflugt eller Hafts efterkrigsliv i USA vises ved hjælp af lyse billeder. Traumatiserende og triste faser, såsom hans koncentrationslejroplevelser, vises som mørke billeder. Dette stemmer overens med farvepsykologiens identifikation af hvid som en ren og glad tone, og sort som symboliserer tristhed og sorg.

Efter at have etableret en generel forståelse af, hvordan lysstyrke bruges i bogens billeder, vi så nærmere på flashback-scenerne. Alle skildrede følelsesmæssigt intense begivenheder, og nogle af dem var mørke, såsom erindringer om at kremere andre koncentrationslejrfanger og forlade sit livs kærlighed.

Vi blev overraskede, imidlertid, at opdage, at flashbacks, der viste Haft, der var ved at slå modstandere ihjel, var klare og tydelige - hvilket tyder på, at han har en positiv følelse omkring det kommende fatale møde. Det er det stik modsatte af, hvad læsere som os sandsynligvis føler, når de følger historien, måske at se Hafts modstander som svag og indse, at han er ved at blive dræbt. Når læseren føler medlidenhed og empati, hvorfor føler Haft sig positiv?

Denne modsigelse, fundet ved at måle lysstyrken af ​​billeder, kan afsløre en dybere indsigt i, hvordan de nazistiske dødslejre påvirkede Haft følelsesmæssigt. For os, lige nu, det er ufatteligt, hvordan udsigten til at slå en anden ihjel i en boksekamp ville være positiv. Men måske var Haft i en så desperat situation, at han så håb om overlevelse, da han stod over for en modstander, der var endnu mere udsultet, end han var.

Brug af AI-værktøjer til at analysere dette stykke litteratur kastede nyt lys over centrale elementer af følelser og hukommelse i bogen – men de erstattede ikke en eksperts eller lærdes færdigheder til at fortolke tekster eller billeder. Som et resultat af vores eksperiment, vi mener, at kunstig intelligens og andre beregningsmetoder udgør en interessant mulighed med potentiale for mere kvantificerbare, reproducerbar og måske objektiv forskning inden for humaniora.

Det vil være udfordrende at finde måder at bruge AI på passende måde i humaniora – og så meget desto mere, fordi de nuværende AI-systemer endnu ikke er sofistikerede nok til at fungere pålideligt i alle sammenhænge. Forskere bør også være opmærksomme på potentielle skævheder i disse værktøjer. Hvis det ultimative mål med AI-forskning er at udvikle maskiner, der konkurrerer med menneskelig kognition, kunstige intelligenssystemer behøver måske ikke kun at opføre sig som mennesker, men forstå og fortolke følelser som mennesker, også.

Denne artikel er genudgivet fra The Conversation under en Creative Commons-licens. Læs den originale artikel.