Eksperimentelt hjernestyret høreapparat afkoder, identificerer, hvem du vil høre

Vores hjerner har en bemærkelsesværdig evne til at udvælge individuelle stemmer i et støjende miljø, som en overfyldt kaffebar eller en travl bygade. Dette er noget, selv de mest avancerede høreapparater kæmper med at gøre. Men nu annoncerer Columbia-ingeniører en eksperimentel teknologi, der efterligner hjernens naturlige evne til at opdage og forstærke en stemme fra mange. Drevet af kunstig intelligens, dette hjernestyrede høreapparat fungerer som et automatisk filter, overvåge bæreres hjernebølger og booste den stemme, de ønsker at fokusere på.

Selvom det stadig er i tidlige udviklingsstadier, teknologien er et væsentligt skridt i retning af bedre høreapparater, der gør det muligt for brugere at tale med mennesker omkring dem problemfrit og effektivt. Denne præstation er beskrevet i dag i Videnskabens fremskridt .

"Hjerneområdet, der behandler lyd, er ekstraordinært følsomt og kraftfuldt; det kan forstærke én stemme frem for andre, tilsyneladende ubesværet, mens dagens høreapparater stadig blegne i sammenligning, " sagde Nima Mesgarani, Ph.D., en hovedefterforsker ved Columbias Mortimer B. Zuckerman Mind Brain Behavior Institute og avisens seniorforfatter. "Ved at skabe en enhed, der udnytter selve hjernens kraft, Vi håber, at vores arbejde vil føre til teknologiske forbedringer, der gør det muligt for hundredvis af millioner af hørehæmmede mennesker verden over at kommunikere lige så let, som deres venner og familie gør."

Moderne høreapparater er fremragende til at forstærke tale, mens de undertrykker visse typer baggrundsstøj, såsom trafik. Men de kæmper for at øge volumen af ​​en individuel stemme over andre. Forskere kalder dette cocktailparty-problemet, opkaldt efter kakofonien af ​​stemmer, der blander sig under højlydte fester.

"På overfyldte steder, som fester, høreapparater har en tendens til at forstærke alle højttalere på én gang, " sagde Dr. Mesgarani, som også er lektor i elektroteknik ved Columbia Engineering. "Dette hæmmer alvorligt en bærers evne til at kommunikere effektivt, i det væsentlige at isolere dem fra menneskerne omkring dem."

Columbia-teamets hjernekontrollerede høreapparat er anderledes. I stedet for udelukkende at stole på eksterne lydforstærkere, som mikrofoner, den overvåger også lytterens egne hjernebølger.

"Tidligere vi havde opdaget, at når to mennesker taler med hinanden, talerens hjernebølger begynder at ligne lytterens hjernebølger, " sagde Dr. Mesgarani.

Ved at bruge denne viden kombinerede holdet kraftfulde taleseparationsalgoritmer med neurale netværk, komplekse matematiske modeller, der efterligner hjernens naturlige beregningsevner. De skabte et system, der først adskiller stemmerne fra individuelle højttalere fra en gruppe, og sammenligner derefter hver enkelt højttalers stemmer med hjernebølgerne hos den person, der lytter. Den højttaler, hvis stemmemønster passer bedst til lytterens hjernebølger ¬forstærkes derefter over resten.

Forskerne offentliggjorde en tidligere version af dette system i 2017, der, mens de lover, havde en nøglebegrænsning:Den skulle være fortrænet til at genkende specifikke højttalere.

"Hvis du er på en restaurant med din familie, den enhed ville genkende og afkode disse stemmer for dig, " forklarede Dr. Mesgarani. "Men så snart en ny person, såsom tjeneren, ankom, systemet ville fejle."

Dagens fremskridt løser stort set det problem. Med finansiering fra Columbia Technology Ventures til at forbedre deres originale algoritme, Dr. Mesgarani og førsteforfatterne Cong Han og James O'Sullivan, Ph.D., igen udnyttet kraften i dybe neurale netværk til at bygge en mere sofistikeret model, der kunne generaliseres til enhver potentiel højttaler, som lytteren stødte på.

"Vores slutresultat var en taleadskillelsesalgoritme, der fungerede på samme måde som tidligere versioner, men med en vigtig forbedring, " sagde Dr. Mesgarani. "Den kunne genkende og afkode en stemme - en hvilken som helst stemme - lige uden for hånden."

For at teste algoritmens effektivitet, forskerne gik sammen med Ashesh Dinesh Mehta, MD, Ph.D., en neurokirurg ved Northwell Health Institute for Neurology and Neurosurgery og medforfatter til dagens papir. Dr. Mehta behandler epilepsipatienter, hvoraf nogle skal gennemgå regelmæssige operationer.

"Disse patienter meldte sig frivilligt til at lytte til forskellige højttalere, mens vi overvågede deres hjernebølger direkte via elektroder implanteret i patienternes hjerner, " sagde Dr. Mesgarani. "Derefter anvendte vi den nyudviklede algoritme på disse data."

Holdets algoritme sporede patienternes opmærksomhed, mens de lyttede til forskellige højttalere, som de ikke tidligere havde hørt. Når en patient fokuserede på én højttaler, systemet forstærkede automatisk den stemme. Da deres opmærksomhed flyttede til en anden højttaler, lydstyrkeniveauerne blev ændret for at afspejle dette skift.

Opmuntret af deres resultater, forskerne undersøger nu, hvordan man kan transformere denne prototype til en ikke-invasiv enhed, der kan placeres eksternt på hovedbunden eller omkring øret. De håber også at forbedre og forfine algoritmen yderligere, så den kan fungere i en bredere vifte af miljøer.

"Indtil nu, vi har kun testet det i et indendørs miljø, " sagde Dr. Mesgarani. "Men vi vil sikre, at det kan fungere lige så godt på en travl bygade eller en støjende restaurant, så hvor end bærerne går, de kan fuldt ud opleve verden og mennesker omkring dem."