Ansigtsgenkendelsessoftware til at identificere borgerkrigssoldater

Kurt Luther, Virginia Tech assisterende professor i datalogi, har udviklet en gratis softwareplatform, der bruger crowdsourcing til markant at øge algoritmernes evne til at identificere ansigter på billeder.

Gennem softwareplatformen, kaldet Photo Sleuth, Luther søger at afsløre mysterierne i de næsten 4 millioner fotografier af borgerkrigsbilleder, der kan eksistere i den historiske optegnelse.

Luther vil præsentere sin forskning omkring Photo Sleuth-platformen den 19. marts på Association for Computing Machinery's Intelligent User Interfaces-konference i Los Angeles, Californien. Han vil også demonstrere Photo Sleuth ved den store åbning af det udvidede American Civil War Museum, i Richmond, Virginia, den 4. maj, 2019.

Luther, selv en historieinteresseret, blev inspireret til at udvikle softwaren til Civil War Photo Sleuth i 2013, mens han besøgte Heinz History Centers udstilling kaldet "Pennsylvania's Civil War" i Pittsburgh, Pennsylvania. Der faldt han over et portræt fra borgerkrigstiden af ​​Oliver Croxton, hans tip-tip-oldonkel, der tjente i kompagni E i 134th Pennsylvania, iklædt en korporaluniform.

"At se min fjerne slægtning stirre tilbage på mig var som at rejse gennem tiden, " sagde Luther. "Historiske fotos kan fortælle os meget om ikke kun vores egen familiehistorie, men også informere tidens historiske optegnelse mere bredt end blot at læse om begivenheden i en historiebog."

Civil War Photo Sleuth-projektet, finansieret primært af National Science Foundation, blev officielt lanceret som en webbaseret platform på National Archives i Washington, D.C., den 1. aug. 2018, og giver brugerne mulighed for at uploade billeder, tag dem med visuelle signaler, og forbinde dem med profiler af borgerkrigssoldater med detaljerede optegnelser om militærhistorie. Photo Sleuths oprindelige referencedatabase indeholdt mere end 15, 000 identificerede borgerkrigssoldatportrætter fra offentlige kilder som U.S. Military History Institute og andre private samlinger.

Forud for projektets officielle lancering i august, softwareplatformen vandt $25, 000 Microsoft Cloud AI Research Challenge og Best Demo Award ved Human Computation and Crowdsourcing 2018-konferencen i Zürich, Schweiz, for Luther og hans hold, som omfatter akademiske og historiske samarbejdspartnere, Virginia Center for Civil War Studies, og magasinet Military Images.

Ifølge Luther, nøglen til sidens succes efter lanceringen har været evnen til at opbygge et stærkt brugerfællesskab. Mere end 600 brugere bidrog med mere end 2, 000 borgerkrigsbilleder til hjemmesiden i den første måned efter lanceringen, og omkring halvdelen af ​​disse billeder var uidentificerede. Over 100 af disse ukendte billeder var knyttet til specifikke soldater, og en ekspertanalyse viste, at over 85 procent af disse foreslåede identifikationer sandsynligvis eller helt sikkert var korrekte. I øjeblikket, databasen er vokset til over 4, 000 registrerede brugere og mere end 8, 000 billeder.

"Typisk, crowdsourced forskning som denne er udfordrende for nybegyndere, hvis brugerne ikke har specifik viden om emneområdet, " sagde Luther. "Den trinvise proces med at tagge visuelle spor og anvende søgefiltre knyttet til militærtjenesteregistreringer gør dette detektivarbejde mere tilgængeligt, selv for dem, der måske ikke har et dybere kendskab til borgerkrigens militærhistorie."

Personidentifikationsopgaver kan være udfordrende i større kandidatpuljer, fordi der er en større risiko for falske positiver. Den nye tilgang bag Civil War Photo Sleuth er baseret på analogien om at finde en nål i en høstak. Datapipelinen har tre høstakken-relaterede komponenter:opbygning af høstakken, indsnævre høstakken, og finde nålen i høstakken. Når det kombineres, de giver brugerne mulighed for at identificere ukendte soldater, mens de reducerer risikoen for falske positiver.

Opbygningen af ​​høstakken sker ved at tilskynde brugerne til at uploade scannede billeder af for- og bagsiden af ​​borgerkrigsbilleder. Hver gang en bruger uploader et billede for at identificere det, billedet føjes til webstedets digitale arkiv eller "høstak, " gør den tilgængelig for fremtidige søgninger.

Efter upload, brugeren tagger metadata relateret til fotografiet, såsom fotoformat eller inskriptioner, samt visuelle spor, såsom pelsfarve, chevrons, skulderstropper, krave insignier, og hat-tegn. Disse tags er knyttet til søgefiltre for at prioritere de mest sandsynlige matches. For eksempel, en soldat mærket med "jagthornet" hat-insignier ville foreslå potentielle kampe, der tjente i infanteriet, mens de skjuler resultater fra kavaleriet eller artilleriet. Næste, webstedet bruger state-of-the-art ansigtsgenkendelsesteknologi til at eliminere meget anderledes udseende ansigter og sortere de resterende efter lighed. Både tagging og ansigtsgenkendelsestrin indsnævrer høstakken.

Endelig, brugere finder nålen i høstakken ved at udforske de mest sandsynlige kampe mere detaljeret. Et sammenligningsværktøj med panorerings- og zoomkontroller hjælper brugerne med omhyggeligt at inspicere et muligt match og, hvis de beslutter sig for at det er et match, knytte det hidtil ukendte foto til dets nye identitet og biografiske detaljer.

De militære optegnelser, der bruges af filtrene, kommer fra utallige offentlige kilder, herunder National Park Service Soldiers and Sailors Database.

Genopsporing af historiske borgerkrigsbilleder gennem ansigtsgenkendelsessoftware som Photo Sleuth har brede applikationer ud over at identificere historiske fotos, også. Softwaren har potentialet til at generere nye måder at tænke på at bygge personidentifikationssystemer, der ser ud over ansigtsgenkendelse og udnytter de komplementære styrker ved både menneskelig og kunstig intelligens.