RIT-forskere vinder førstepladsen i eye-tracking challenge af Facebook Research

Et team af forskere fra Rochester Institute of Technology tog topprisen i en international konkurrence afholdt af Facebook Research for at udvikle mere effektive eye-tracking-løsninger. Holdet, ledet af tre ph.d. studerende fra Chester F. Carlson Center for Imaging Science, vandt førstepladsen i OpenEDS Challenge med fokus på semantisk segmentering.

Virtual reality-produkter som Oculus VR er afhængige af eyetracking for at skabe fordybende oplevelser. Eye tracking skal være præcis, præcis og arbejde hele tiden, for enhver person, i ethvert miljø.

"I øjeblikket udføres øjensporing ved at detektere pupillen og tilpasse en to- eller tredimensionel model på dataene, " sagde Aayush Chaudhary, en billeddannende ph.d. studerende fra Nepal og en af ​​hovedforfatterne af det prisvindende papir. "Det overordnede mål med OpenEDS Challenge var at adskille iris, pupil og sclera i billeder af øjet, så 2-D- og 3-D-modeller kan passe sammen med en kompakt model."

For at hjælpe med at udvide de applikationer, hvor eye tracking kan bruges, Facebook Research udsendte udfordringen om at skabe robuste computermodeller, der kan fungere i realtid. De krævede, at den vindende løsning var nøjagtig, robust og ekstremt strømbesparende.

"Når vi taler om at lave øjensporing på en enhed som din mobiltelefon, du har brug for små modeller, der kan køre i realtid, " sagde Rakshit Kothari, en billeddannende ph.d. studerende fra Indien. "Du skal bare kunne tage din mobiltelefon frem og få den til at virke med det samme, uden megen beregning."

Med støtte fra deres rådgivere, tre billedvidenskabelige ph.d. studerende - Kothari, Chaudhary, og Manoj Acharya fra Nepal – brugte en måned af deres researchtid på at udvikle løsningen. De kørte utallige modeller over det spænd, konstant at finpudse deres tilgang og komme videre i udfordringen på den sidste konkurrencedag. Langs vejen, de overvandt adskillige uforudsete forhindringer for at bygge en praktisk model.

"Der er forhold, som vi aldrig havde forudset, og som kan dukke op på disse billeder, som vores model intelligent skulle tage sig af, sagde Acharya. Som et eksempel, hvis du lærte denne model, hvordan man finder disse funktioner ved hjælp af billeder, hvor folk ikke har øjenmakeup på, og så kommer der pludselig en ind med en masse mascara på, der kunne kaste det fuldstændig af sig. Du har brug for en model for at være smart og intelligent nok til at omgå det."

Det tværfaglige projekt krævede samarbejde på tværs af laboratorier og gymnasier på RIT. De tre primære forfattere samarbejdede med medforfattere, herunder Nitinraj Nair, en kandidatstuderende i datalogi fra Indien, og Sushil Dangi, en billeddannende ph.d. studerende fra Nepal. De arbejdede tæt sammen med deres rådgivere:Frederick Wiedman Professor Jeff Pelz, Adjunkt Gabriel Diaz, og adjunkt Christopher Kanan fra College of Science, og professor Reynold Bailey fra Golisano College of Computing and Information Sciences.

Forskerne arbejder i fire RIT-laboratorier - Multidisciplinary Vision Research Laboratory (MVRL), PerForM (Perception for Movement) Lab, Maskin- og Neuromorfisk Perceptionslaboratoriet (kLab) og Computergrafik- og Anvendt Perceptionslaboratoriet.

Teammedlemmer vil præsentere deres løsning på 2019 OpenEDS Workshop:Eye Tracking for VR og AR på den internationale konference om computersyn (ICCV) i Seoul, Korea den 2. nov.

Holdet vandt $5, 000 og vil donere præmiepengene til det nyetablerede Willem "Bill" Brouwer Endowed Fellowship for at støtte kandidatstuderendes forskning i Chester F. Carlson Center for Imaging Science.

Mere information er tilgængelig på Facebook Research OpenEDS Challenge-webstedet.