Mennesker komprimerer billeder bedre end algoritmer, forsøgsfund

Din ven sender dig et billede af hunden, hun er ved at adoptere, men det eneste, du ser, er en solbrun farve, vagt dyreformet dis af pixels. For at give dig et større billede, hun sender linket til hundens adoptionsprofil, fordi hun er bekymret for sin datagrænse. Et enkelt klik, og din skærm fyldes med meget mere tilfredsstillende beskrivelser og billeder af hendes kommende bedste ven.

At sende et link i stedet for at uploade et massivt billede er blot et trick, som mennesker bruger til at formidle information uden at brænde data igennem. Faktisk, disse tricks kan inspirere til en helt ny klasse af billedkomprimeringsalgoritmer, ifølge forskning fra et hold af Stanford University ingeniører og gymnasieelever.

Forskerne bad folk om at sammenligne billeder produceret af en traditionel komprimeringsalgoritme, der krymper enorme billeder til pixilerede sløringer, med dem, der er skabt af mennesker under databegrænsede forhold - kun tekstkommunikation, som kunne omfatte links til offentlige billeder. I mange tilfælde, produkterne af menneskedrevet billeddeling viste sig at være mere tilfredsstillende end algoritmens arbejde. Forskerne vil præsentere deres arbejde den 28. marts på 2019 Data Compression Conference.

"Næsten hver eneste billedkompressor, vi har i dag, evalueres ved hjælp af målinger, der ikke nødvendigvis repræsenterer, hvad mennesker værdsætter i et billede, " sagde Irena Fischer-Hwang, en kandidatstuderende i elektroteknik og medforfatter til papiret. "Det viser sig, at vores algoritmer har en lang vej at gå og kan lære meget af den måde, mennesker deler information på."

Projektet er et resultat af et samarbejde mellem forskere ledet af Tsachy Weissman, professor i elektroteknik, og tre gymnasieelever, der arbejdede i hans laboratorium.

"Ærligt talt, vi kom ind i dette samarbejde med det formål at give eleverne noget, der ikke ville distrahere for meget fra igangværende forskning, " sagde Weissman. "Men de ville gøre mere, og den chutzpah førte til et papir og en helt ny forskningsindsats for gruppen. Det her kan sagtens blive blandt de mest spændende projekter, jeg nogensinde har været involveret i."

Et mindre tabsgivende billede

Konvertering af billeder til et komprimeret format, såsom en JPEG, gør dem væsentligt mindre, men mister nogle detaljer – denne form for konvertering kaldes ofte "tabende" af den grund. Det resulterende billede er af lavere kvalitet, fordi algoritmen skal ofre detaljer om farve og luminans for at forbruge mindre data. Selvom algoritmerne bevarer nok detaljer i de fleste tilfælde, Weissmans praktikanter mente, at de kunne gøre det bedre.

I deres eksperimenter, to elever arbejdede sammen på afstand for at genskabe billeder ved hjælp af gratis fotoredigeringssoftware og offentlige billeder fra internettet. En person i parret havde referencebilledet og guidede den anden person i at rekonstruere billedet. Begge personer kunne se rekonstruktionen i gang, men beskriveren kunne kun kommunikere over tekst, mens han lyttede til deres partner tale.

Den endelige filstørrelse af det rekonstruerede billede var den komprimerede størrelse af de tekstbeskeder, der blev sendt af beskriveren, fordi det er det, der kræves for at genskabe billedet. (Gruppen inkluderede ikke lydoplysninger.)

Eleverne satte derefter de menneskelige rekonstruktioner op mod maskinkomprimerede billeder med filstørrelser, der svarede til rekonstruktionstekstfiler. Så, hvis et menneskeligt team skabte et billede med kun 2 kilobytes tekst, de komprimerede den originale fil til samme størrelse. Med adgang til de originale billeder, 100 personer uden for eksperimenterne vurderede den menneskelige rekonstruktion bedre end den maskinbaserede komprimering på 10 ud af 13 billeder.

Slørede ansigter OK

Når de originale billeder passede tæt sammen med offentlige billeder på internettet, såsom et gadekryds, de menneskeskabte rekonstruktioner klarede sig særligt godt. Selv rekonstruktionerne, der kombinerede forskellige billeder, gjorde det ofte godt, undtagen i tilfælde, hvor der var menneskeansigter. Forskerne bad ikke deres dommere om at forklare deres rangering, men de har nogle ideer om de forskelle, de fandt.

"I nogle scenarier, som naturscener, folk var ligeglade med, om træerne var lidt anderledes, eller giraffen var en anden giraf. De bekymrede sig mere om, at billedet ikke var sløret, hvilket betyder, at traditionel komprimering er placeret lavere, " sagde Shubham Chandak, en kandidatstuderende i Weissmans gruppe og medforfatter til papiret. "Men for menneskelige ansigter, folk vil hellere have det samme ansigt, selvom det er sløret. "

Denne tilsyneladende svaghed i den menneskebaserede billeddeling ville blive bedre, efterhånden som flere mennesker uploader billeder af sig selv til internettet. Forskerne slår sig også sammen med en politiskitser for at se, hvordan hans ekspertise kan gøre en forskel. Selvom dette arbejde viser værdien af ​​menneskelig input, forskerne ville til sidst forsøge at automatisere processen.

"Maskinlæring arbejder på bits og dele af dette, og forhåbentlig kan vi snart få dem til at arbejde sammen, " sagde Kedar Tatwawadi, en kandidatstuderende i Weissmans gruppe og medforfatter til papiret. "Det ser ud til, at en praktisk kompressor, der arbejder med denne form for ideologi, ikke er særlig langt væk."

Ringer til alle elever

Weissman understregede værdien af ​​gymnasieelevernes bidrag, selv ud over dette papir.

"Tis hvis ikke hundredtusindvis af menneskelige ingeniørtimer gik med at designe en algoritme, som tre gymnasieelever kom og sparkede dens bagdel, " sagde Weissman. "Det er ydmygende at overveje, hvor langt vi er i vores ingeniørkunst."

På grund af succesen med dette samarbejde, Weissman har lavet et formelt sommerpraktikprogram i sit laboratorium for gymnasieelever. At forestille sig, hvordan en kunstner eller studerende interesseret i psykologi eller neurovidenskab kunne bidrage til dette arbejde, han er særligt opsat på at bringe studerende med forskellige interesser og baggrunde.