Neuralt netværk rekonstruerer menneskelige tanker fra hjernebølger i realtid

Forskere fra det russiske selskab Neurobotics og Moskva Institut for Fysik og Teknologi har fundet en måde at visualisere en persons hjerneaktivitet som faktiske billeder, der efterligner det, de observerer i realtid. Dette vil muliggøre nye rehabiliteringsanordninger efter slagtilfælde styret af hjernesignaler. Holdet offentliggjorde sin forskning som et fortryk på bioRxiv og lagde en video online, der viser deres "tankelæsning"-system på arbejde.

At udvikle enheder styret af hjernen og metoder til behandling af kognitive lidelser og rehabilitering efter slagtilfælde, neurobiologer skal forstå, hvordan hjernen koder for information. Et nøgleaspekt af dette er at studere hjerneaktiviteten hos mennesker, der opfatter visuel information, for eksempel, mens du ser en video.

De eksisterende løsninger til at udtrække observerede billeder fra hjernesignaler bruger enten funktionel MR eller analyserer de signaler, der opfanges via implantater direkte fra neuroner. Begge metoder har ret begrænset anvendelse i klinisk praksis og hverdagsliv.

Hjerne-computer-grænsefladen udviklet af MIPT og Neurobotics er afhængig af kunstige neurale netværk og elektroencefalografi, eller EEG, en teknik til optagelse af hjernebølger via elektroder placeret non-invasivt på hovedbunden. Ved at analysere hjerneaktivitet, systemet rekonstruerer billederne set af en person, der gennemgår EEG, i realtid.

"Vi arbejder på Assistive Technologies-projektet af Neuronet fra National Technology Initiative, som fokuserer på hjerne-computer-grænsefladen, der gør det muligt for patienter efter slagtilfælde at kontrollere en eksoskeletarm til neurorehabiliteringsformål, eller lammede patienter til at køre en elektrisk kørestol, for eksempel. Det ultimative mål er at øge nøjagtigheden af ​​neural kontrol for raske individer, også, sagde Vladimir Konyshev, der leder Neurorobotics Lab ved MIPT.

I den første del af eksperimentet, neurobiologerne bad raske forsøgspersoner om at se 20 minutter af 10 sekunders YouTube-videofragmenter. Holdet valgte fem vilkårlige videokategorier:abstrakte former, vandfald, menneskelige ansigter, bevægelige mekanismer og motorsport. Sidstnævnte kategori indeholdt førstepersonsoptagelser af snescooter, vandscooter, motorcykel- og billøb.

Ved at analysere EEG-dataene, forskerne viste, at hjernebølgemønstrene er forskellige for hver kategori af videoer. Dette gjorde det muligt for holdet at analysere hjernens reaktion på videoer i realtid.

I anden fase af eksperimentet tre tilfældige kategorier blev udvalgt blandt de oprindelige fem. Forskerne udviklede to neurale netværk:et til at generere tilfældige kategorispecifikke billeder fra "støj, " og en anden til at generere lignende "støj" fra EEG. Holdet trænede derefter netværkene til at fungere sammen på en måde, der omdanner EEG-signalet til faktiske billeder, der ligner dem, testpersonerne observerede (fig. 2).

For at teste systemets evne til at visualisere hjerneaktivitet, emnerne blev vist tidligere usete videoer fra de samme kategorier. Mens de så på, EEG'er blev registreret og fodret til de neurale netværk. Systemet bestod testen, generere overbevisende billeder, der let kunne kategoriseres i 90 procent af tilfældene (fig. 1).

"Elektroencefalogrammet er en samling af hjernesignaler optaget fra hovedbunden. Forskere plejede at tro, at at studere hjerneprocesser via EEG er som at finde ud af den indre struktur af en dampmaskine ved at analysere røgen efterladt af et damptog, " forklarede papirets medforfatter Grigory Rashkov, en juniorforsker ved MIPT og en programmør hos Neurobotics. "Vi havde ikke forventet, at det indeholder tilstrækkelig information til selv delvist at rekonstruere et billede observeret af en person. Alligevel viste det sig at være meget muligt."

"Hvad mere er, vi kan bruge dette som grundlag for en hjerne-computer grænseflade, der fungerer i realtid. Det er ret betryggende. Med nutidens teknologi, de invasive neurale grænseflader, som Elon Musk forestiller sig, står over for udfordringerne med kompleks kirurgi og hurtig forringelse på grund af naturlige processer – de oxiderer og fejler inden for flere måneder. Vi håber, at vi med tiden kan designe mere overkommelige neurale grænseflader, der ikke kræver implantation, " tilføjede forskeren.