Hvor godt kan computere forbinde symptomer med sygdomme?

En ny MIT-undersøgelse finder "sundhedsviden-grafer, "som viser sammenhænge mellem symptomer og sygdomme og er beregnet til at hjælpe med klinisk diagnose, kan komme til kort for visse tilstande og patientpopulationer. Resultaterne foreslår også måder at øge deres ydeevne på.

Sundhedsvidensgrafer er typisk blevet udarbejdet manuelt af ekspertklinikere, men det kan være en besværlig proces. For nylig, forskere har eksperimenteret med automatisk at generere disse vidensgrafer ud fra patientdata. MIT-teamet har undersøgt, hvor godt sådanne grafer holder på tværs af forskellige sygdomme og patientpopulationer.

I et papir præsenteret på Pacific Symposium on Biocomputing 2020, forskerne evaluerede automatisk genererede helbredsvidensgrafer baseret på rigtige datasæt omfattende mere end 270, 000 patienter med næsten 200 sygdomme og mere end 770 symptomer.

Holdet analyserede, hvordan forskellige modeller brugte elektroniske patientjournaler (EPJ) data, indeholdende medicinske og behandlingshistorier for patienter, automatisk at "lære" mønstre af sygdom-symptom korrelationer. De fandt ud af, at modellerne klarede sig særligt dårligt for sygdomme, der har høje procentdele af meget gamle eller unge patienter, eller høje procenter af mandlige eller kvindelige patienter - men at vælge de rigtige data til den rigtige model, og foretage andre ændringer, kan forbedre ydeevnen.

Ideen er at give vejledning til forskere om forholdet mellem datasætstørrelse, modelspecifikation, og ydeevne ved brug af elektroniske sundhedsjournaler til at opbygge helbredsviden-grafer. Det kunne føre til bedre værktøjer til at hjælpe læger og patienter med medicinsk beslutningstagning eller til at søge efter nye forhold mellem sygdomme og symptomer.

"I de sidste 10 år, EPJ-brug er steget voldsomt på hospitaler, så der er en enorm mængde data, som vi håber at hente for at lære disse grafer over sygdom-symptom-forhold, " siger førsteforfatter Irene Y. Chen, en kandidatstuderende ved Institut for Elektroteknik og Datalogi (EECS). "Det er vigtigt, at vi nøje undersøger disse grafer, så de kan bruges som de første trin i et diagnostisk værktøj."

Med Chen på avisen er Monica Agrawal, en kandidatstuderende i MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL); Steven Horng fra Beth Israel Deaconess Medical Center (BIDMC); og EECS professor David Sontag, som er medlem af CSAIL og Institut for Medicinsk Teknik og Videnskab, og leder af Clinical Machine Learning Group.

Patienter og sygdomme

I grafer for sundhedsviden, der er hundredvis af noder, hver repræsenterer en anden sygdom og symptom. Kanter (linjer) forbinder sygdomsknuder, såsom "diabetes, " med korrelerede symptomknuder, såsom "overdreven tørst." Google lancerede sin egen version i 2015, som blev manuelt kurateret af flere klinikere over hundreder af timer og betragtes som guldstandarden. Når du Googler en sygdom nu, systemet viser tilknyttede symptomer.

I et 2017 Nature Scientific Reports papir, Sontag, Horng, og andre forskere udnyttede data fra de samme 270, 00 patienter i deres nuværende undersøgelse - som kom fra akutafdelingen på BIDMC mellem 2008 og 2013 - for at bygge grafer for helbredsviden. De brugte tre modelstrukturer til at generere graferne, kaldet logistisk regression, naive Bayes, og støjende ELLER. Ved at bruge data leveret af Google, forskerne sammenlignede deres automatisk genererede helbredsvidensgraf med Google Health Knowledge Graph (GHKG). Forskernes graf klarede sig meget godt.

I deres nye arbejde, forskerne lavede en grundig fejlanalyse for at bestemme, hvilke specifikke patienter og sygdomme modellerne klarede sig dårligt for. Derudover de eksperimenterede med at udvide modellerne med flere data, ude fra skadestuen.

I en test, de opdelte dataene i underpopulationer af sygdomme og symptomer. For hver model, de så på forbindelseslinjer mellem sygdomme og alle mulige symptomer, og sammenlignede det med GHKG. I avisen, de sorterer resultaterne i de 50 nederste og 50 bedst ydende sygdomme. Eksempler på lavtydende er polycystisk ovariesyndrom (som rammer kvinder), allergisk astma (meget sjældent), og prostatakræft (som overvejende rammer ældre mænd). Højtydende er de mere almindelige sygdomme og tilstande, såsom hjertearytmi og plantar fasciitis, hvilket er vævshævelse langs fødderne.

De fandt, at den støjende OR-model var den mest robuste over for fejl generelt for næsten alle sygdomme og patienter. Men nøjagtigheden faldt blandt alle modeller for patienter, der har mange samtidige sygdomme og samtidige symptomer, samt patienter, der er meget unge eller over 85 år. Ydelsen led også lidt for patientpopulationer med meget høje eller lave procenter af ethvert køn.

I det væsentlige, forskerne antager, dårlig ydeevne er forårsaget af patienter og sygdomme, der har en afvigende prædiktiv ydeevne, samt potentielle umålte konfoundere. Ældre patienter, for eksempel, har tendens til at komme ind på hospitaler med flere sygdomme og relaterede symptomer end yngre patienter. Det betyder, at det er svært for modellerne at korrelere specifikke sygdomme med specifikke symptomer, siger Chen. "På samme måde " tilføjer hun, "unge patienter har ikke mange sygdomme eller så mange symptomer, og hvis de har en sjælden sygdom eller symptom, det præsenterer ikke på en normal måde, som modellerne forstår."

Opdeling af data

Forskerne indsamlede også meget flere patientdata og skabte tre forskellige datasæt med forskellig granularitet for at se, om det kunne forbedre ydeevnen. For de 270, 000 besøg brugt i den oprindelige analyse, forskerne udtog den fulde EPJ-historie af de 140, 804 unikke patienter, spor et årti tilbage, med omkring 7,4 millioner annoteringer i alt fra forskellige kilder, såsom lægenotater.

Valg i datasætoprettelsesprocessen påvirkede også modellens ydeevne. Et af datasættene samler hver af de 140, 400 patienthistorier som ét datapunkt hver. Et andet datasæt behandler hver af de 7,4 millioner annoteringer som et separat datapunkt. En sidste skaber "episoder" for hver patient, defineret som en sammenhængende række af besøg uden en pause på mere end 30 dage, giver i alt omkring 1,4 millioner episoder.

Intuitivt, et datasæt, hvor hele patienthistorien er aggregeret til ét datapunkt, bør føre til større nøjagtighed, da hele patienthistorien tages i betragtning. Kontraintuitivt, imidlertid, det fik også den naive Bayes-model til at præstere dårligere for nogle sygdomme. "Du antager jo mere intrapatient information, des bedre, med maskinlæringsmodeller. Men disse modeller er afhængige af granulariteten af ​​de data, du fodrer dem, " siger Chen. "Den type model, du bruger, kan blive overvældet."

Som forventet, fodring af modellen med demografisk information kan også være effektiv. For eksempel, modeller kan bruge denne information til at udelukke alle mandlige patienter for, sige, forudsigelse af livmoderhalskræft. Og visse sygdomme, der er langt mere almindelige for ældre patienter, kan elimineres hos yngre patienter.

Men, i en anden overraskelse, de demografiske oplysninger øgede ikke ydeevnen for den mest succesrige model, så det kan være unødvendigt at indsamle data. Det er vigtigt, Chen siger, fordi det kan være dyrt og tidskrævende at kompilere data og træningsmodeller på dataene. Endnu, afhængig af model, Brug af snesevis af data kan faktisk ikke forbedre ydeevnen.

Næste, forskerne håber at kunne bruge deres resultater til at bygge en robust model, der kan implementeres i kliniske omgivelser. I øjeblikket, sundhedsviden-grafen lærer sammenhænge mellem sygdomme og symptomer, men giver ikke en direkte forudsigelse af sygdom ud fra symptomer. "Vi håber, at enhver prædiktiv model og enhver medicinsk vidensgraf vil blive sat under en stresstest, så klinikere og maskinlærende forskere med tillid kan sige, "Vi stoler på dette som et nyttigt diagnostisk værktøj, '" siger Chen.

Denne historie er genudgivet med tilladelse fra MIT News (web.mit.edu/newsoffice/), et populært websted, der dækker nyheder om MIT-forskning, innovation og undervisning.