Hjælper blinde med at navigere

Forestil dig, at du går til et ukendt supermarked for første gang. Hvis du er en person, der kan se, du kan blot se dig omkring for at guide dig selv og identificere genstande og forhindringer. Imidlertid, blinde mennesker skal bruge andre sanser til at finde vej gennem et nyt rum.

Snart, blinde kan have noget navigationshjælp, takket være Caltech -forskere, der har kombineret augmented reality -hardware og computervisionalgoritmer til at udvikle software, der gør det muligt for objekter at "tale". Bæres som et bærbart headset, teknologien oversætter den optiske verden til almindelig engelsk lyd. Enheden kunne en dag gøres tilgængelig i banker, supermarked, museer, og andre steder, at hjælpe blinde mennesker med at finde vej gennem ukendte rum.

Arbejdet blev udført i laboratoriet hos Markus Meister (Ph.D. '87), Anne P. og Benjamin F. Biaggini professor i biologiske videnskaber og administrerende direktør for neurobiologi, og er beskrevet i et papir, der vises i bladets nummer 27. november eLife . Meister er tilknyttet fakultetsmedlem af Tianqiao og Chrissy Chen Institute for Neuroscience på Caltech.

"Forestil dig, at du er i en verden, hvor alle genstande omkring dig har stemmer og kan tale til dig, " siger Meister. "Hvor end du peger dit blik, de forskellige objekter, du fokuserer på, aktiveres og siger deres navne til dig. Kunne du forestille dig at komme rundt i sådan en verden, udføre nogle af de mange opgaver, som vi normalt bruger vores visuelle system til? Det er, hvad vi har gjort her - givet stemmer til genstande."

Anført af kandidatstuderende Yang Liu, holdet af videnskabsmænd udviklede et system, de kalder CARA, eller Cognitive Augmented Reality Assistant. CARA blev udviklet til en bærbar headset-computer kaldet en HoloLens, udviklet af Microsoft, der kan scanne en brugers miljø og identificere individuelle objekter såsom en bærbar computer eller et bord. Med CARA, hvert objekt i miljøet får en stemme og vil "sige" sit navn efter brugerens kommando. Teknologien anvender såkaldt rumlig lyd, hvilket får objekter til at lyde forskelligt afhængigt af deres placering i et rum. Hvis objektet er, for eksempel, langt til venstre for brugeren, dens stemme vil lyde som om den kommer fra venstre. Derudover jo tættere på objektet, jo højere tonehøjde er dens "stemme".

For at undgå en kakofoni af objekter, der taler på én gang, Liu og hans team programmerede CARA med flere forskellige tilstande. Først og fremmest, kaldet spotlight mode, et objekt siger kun sit navn, når brugeren vender direkte mod det. Når brugeren drejer hovedet for at se forskellige genstande, objekterne siger hver deres navn, og tonehøjden af ​​objektets stemme giver et auditivt fingerpeg om dets relative afstand fra brugeren. På denne måde en synshandicappet bruger kan "se sig omkring" for at udforske deres omgivelser. I en anden tilstand, kaldet scanningstilstand, miljøet scannes fra venstre mod højre med objekter, der siger deres navne i overensstemmelse hermed. Den tredje tilstand er måltilstand, hvor brugeren kan vælge et af objekterne til udelukkende at tale og bruge det som en guide til at navigere.

For at teste CARAs praktiske anvendelser, forskerne designede en testrute for blinde frivillige gennem bygningen Beckman Behavioral Biology i Caltech. For at forberede opgaven, forskerne udviklede først en rute gennem bygningen og fulgte den, mens de havde HoloLens på, som scannede miljøet og gemte det i hukommelsen. Derefter, de blinde frivillige blev bedt om at navigere på ruten med CARA som guide. Da hver frivillig begyndte, en stemme, tilsyneladende stammer fra et sted foran på ruten, råbte "Følg mig, "og samtidig fortæller brugeren om trapper, håndlister, hjørner at dreje, og lignende. ledet af CARA, alle syv frivillige fuldførte opgaven med succes i første forsøg.

CARA er stadig i sine tidlige stadier, men vil drage fordel af den hurtige udvikling af algoritmer til computersyn. Forskerne er allerede i gang med at implementere nye ordninger til realtidsidentifikation af objekter og fodgængere. Til sidst, de håber, at steder som banker, hoteller, og indkøbscentre vil tilbyde CARA-enheder til brug for deres blinde kunder.

Ud over deres arbejde med CARA, holdet udviklede også en ny "standardiseret test" til at evaluere ydeevnen af ​​forskellige hjælpemidler til blinde. Metoden giver et virtual reality-miljø, som forskere overalt i verden kan bruge til at benchmarke deres enheder, uden at skulle rekonstruere reelle fysiske rum.

Artiklen har titlen "Augmented Reality Powers a Cognitive Assistant for the Blind."