Et bærbart system til at hjælpe synshandicappede

Nye teknologiske fremskridt kan få vigtige konsekvenser for dem, der er ramt af handicap, tilbyder værdifuld hjælp gennem deres hverdag. Et centralt eksempel på dette er den vejledning, som teknologiske værktøjer kan give til svagsynede (VI), personer, der enten er helt eller delvist blinde.

Med det i tankerne, forskere ved CloudMinds Technologies Inc., i Kina, har for nylig oprettet et nyt dybt læringsdrevet bærbart hjælpesystem til VI personer. Dette system, præsenteret i et papir, der på forhånd er offentliggjort på arXiv, består af en bærbar terminal, en kraftfuld processor og en smartphone. Den bærbare terminal har to nøglekomponenter, et RGBD -kamera og en øretelefon.

"Vi præsenterer et dybt læringsbaseret bærbart system til forbedring af VI's livskvalitet, "forskerne skrev i deres papir." Systemet er designet til sikker navigation og omfattende sceneopfattelse i realtid. "

Systemet udviklet af teamet på CloudMinds indsamler hovedsageligt data fra en brugers omgivelser gennem RGBD -kameraet. Disse data føres til et konvolutionsnervalt netværk (CNN), der analyserer dem og forudsiger de mest effektive forhindrings- og navigationsstrategier. Disse strategier, sammen med andre oplysninger om det omgivende miljø, kommunikeres derefter til brugeren via en øretelefon.

Når man bygger dette system, de første forskere udviklede et datadrevet, ende-til-ende-konvolutionsnetværk (CNN), der kan generere kollisionsfrie instruktioner, når en bruger bevæger sig fremad, venstre, eller og ret baseret på RGBD -data og tilhørende semantiske kort. Ud over, de designede en række interaktioner, der er lette for VI -personer at adoptere, for at give dem pålidelig feedback, f.eks. gå -instruktioner for at undgå forhindringer og oplysninger om deres omgivende miljø.

"Vores hindringsmotor, som lærer af RGBD, semantisk kort og piloter valg af handling input, er i stand til at give sikker feedback om forhindringer og ledig plads omkring VI. Ved at gøre brug af det semantiske kort, Vi introducerer også en effektiv interaktionsordning implementeret for at hjælpe VI med at opfatte 3D-miljøerne via en smartphone. "

Forskerne testede deres systems ydeevne i en række forhindringsundersøgelser i den virkelige verden. Bemærkelsesværdigt, deres system klarede sig bedre end eksisterende tilgange i flere indendørs og udendørs scenarier. Resultaterne, de indsamlede under disse test, tyder på, at systemet også forbedrer brugernes mobilitetsevne og miljøopfattelsesfunktioner i virkelige opgaver, for eksempel, hjælpe dem med at forstå indretningen af ​​et givet rum, hjælpe dem med at finde en tabt genstand, eller formidle nærliggende trafikforhold.

Som en del af deres undersøgelse, forskerne indsamlede datasæt over forhindringsundgåelsesepisoder, der indeholder både instruktioner om at undgå forhindringer i nærheden, mens du går, og andre oplysninger til at opfatte omgivende 3D-miljøer. Disse datasæt kan hjælpe forskerhold med at træne andre dybt læringsbaserede værktøjer til VI-personer.

I fremtiden, det nye bærbare system, der blev udviklet i denne undersøgelse, kunne yde mere effektiv og dybdegående hjælp til VI personer. Teamet planlægger nu at integrere en sonar eller bump sensor, der ville forbedre brugernes sikkerhed, når de navigerer i mere udfordrende eller usikre miljøer.

© 2019 Science X Network