AI-værktøj registrerer globale modetrends

På kongens fødselsdag i Thailand – fejret som fars dag – bærer folk ofte gule skjorter med ordet "FAR".

På FreakNight i Seattle - en dansemusikbegivenhed, der afholdes omkring Halloween - plejer festlystne at bære ærmeløse skjorter, trods køligt vejr.

Og i september 2013, 1,2 millioner mennesker - mange klædt i gule skjorter og blå tørklæder - slog våben sammen for at støtte catalansk uafhængighed fra Spanien.

Disse er blandt de globale indsigter hentet fra GeoStyle, et nyt kunstig intelligensværktøj udviklet af Cornell-forskere, der scanner millioner af offentligt tilgængelige fotos for effektivt at identificere modetrends rundt om i verden, samt traditioner og begivenheder med signaturstile.

"Mange mennesker uploader løbende billeder af sig selv på internettet, fordi de gerne vil dele deres stil med deres venner og resten af ​​planeten, " sagde Kavita Bala, professor og formand for datalogi og seniorforfatter af "GeoStyle:Discovering Fashion Trends and Events, " præsenteret på den internationale konference om computersyn, 27. oktober til 2. november i Seoul, Sydkorea.

"Når du ser på disse store samlinger af billeder, der er mange, mange ting du kan gøre for at forstå, hvordan mennesker lever, " sagde Bala. "Så vi startede med ideen om at se på, hvordan folk klæder sig i forskellige dele af verden:Hvad er fællestræk, og hvad er kendetegnende for forskellige områder? Hvis antropologer kunne se denne rekord 100 år fra nu, de ville forstå meget om vores tid bare ved at se på disse billeder og få indsigt fra dem."

GeoStyle analyserer offentlige Instagram- og Flickr-billeder for at kortlægge tendenser ved hjælp af computersyn og neurale netværk, en slags kunstig intelligens, der ofte bruges til at sortere billeder. Dens modeller hjælper forskere med at forstå eksisterende tendenser i specifikke byer og rundt om i verden over tid, og dens trendprognoser er op til 20 % mere nøjagtige end tidligere metoder.

For eksempel, GeoStyle viser, at år for år, flere mennesker går i sort, men færre går i sort om sommeren end om vinteren. Forskerne skabte også en visualizer, der giver brugerne mulighed for at se populariteten af ​​en bestemt egenskab - såsom et mønster, hat eller farve - efter by, over tid.

For at forfine lavinen af ​​data, som GeoStyle genererer, avisens første forfatter, Utkarsh Mall, en doktorand i datalogi, udviklet en ramme til automatisk at identificere spidser - kortsigtede ændringer, nogle årlige og nogle forekommende én gang – det modvirker de langsigtede tendenser.

"Vi har al denne seje maskinlæringsteknologi, som vi har fundet på til at genkende billeder, men hvordan gør vi det nyttigt?" sagde medforfatter Bharath Hariharan, adjunkt i datalogi. "Vores nøglespørgsmål var, kan vi bruge dette værktøj til automatisk at vise noget, vi, som skabere af dette system, vidste det ikke før?"

Faktisk, modellen var i stand til at identificere snesevis af kortsigtede stilændringer svarende til begivenheder rundt om i verden, inklusive mange forskerne ikke vidste eksisterede, såsom Songkran i Bangkok, en festival, der fejres i april på det thailandske nytår.

Når den identificerer en spids, værktøjet anvender en tekstanalyse baseret på billedtekster for at finde ud af, hvad det kan betyde. Forskerne troede først, at stigningen i ærmeløse skjorter i Seattle havde at gøre med Halloween, fordi det sker omkring det tidspunkt, men teksten forbundet med billederne indeholdt ordet "Freaknight, ", hvilket hjalp dem med at identificere det som en særskilt fest.

"Dette var et eksempel, hvor analyse af teksten virkelig gjorde en forskel, " sagde Hariharan.

Projektet bygger på StreetStyle, lanceret i 2017 af Bala og GeoStyle medforfattere Noah Snavely, lektor i datalogi ved Cornell Tech, og Kevin Matzen, Ph.D. '15, af Facebook. StreetStyle registrerer tendenser baseret på tid og sted ved at analysere millioner af billeder.

Teamet arbejder i øjeblikket med Denise Green, assisterende professor i fibervidenskab og beklædningsdesign, og andre modeeksperter ved College of Human Ecology, at forbedre deres model. Værktøjet kan gøre et bedre stykke arbejde med at opdage trends, hvis det ved, hvad det leder efter, sagde Bala.

"En ekspert kan identificere vigtige visuelle træk på en meget anden måde, end vi kan bare ved at udvinde det, sagde hun. F.eks. hun sagde, en studerende påpegede, at dataene viste udviklingen af ​​trucker-hatte fra et tilbehør båret af landmænd til et, der optræder på mode-landingsbaner til udbredt popularitet.

"En af vores opfølgninger fra dette arbejde er at forbedre teknologien, så hvis du tilføjer lidt ekspertinformation, du kan forbedre genkendelsen og få en endnu finere forståelse, " sagde Bala.

Andre potentielle anvendelser for teknologien omfatter scanning af satellitbilleder for at spore ændringer i arealanvendelsesmønstre, sagde forskerne.