International konkurrence benchmarks metagenomics software

Bakteriesamfund lever overalt:inde i vores kroppe, på vores krop og overalt omkring os. Den menneskelige tarm alene indeholder hundredvis af arter af bakterier, der hjælper med at fordøje mad og giver næringsstoffer, men kan også gøre os syge. For at lære mere om disse grupper af bakterier og hvordan de påvirker vores liv, videnskabsmænd skal studere dem. Men denne opgave byder på udfordringer, fordi det enten er umuligt at tage bakterierne ind i laboratoriet eller ville forstyrre de biologiske processer, som forskerne ønsker at studere.

For at omgå disse vanskeligheder, forskere har henvendt sig til metagenomics-området. I metagenomik, forskere bruger algoritmer til at sammensætte DNA fra en miljøprøve for at bestemme typen og rollen af ​​de tilstedeværende bakterier. I modsætning til etablerede områder som kemi, hvor forskere vurderer deres resultater i forhold til et sæt kendte standarder, metagenomics er et relativt ungt felt, der mangler sådanne benchmarks.

Mihai Pop, en professor i datalogi ved University of Maryland med en fælles ansættelse ved University of Maryland Institute for Advanced Computer Studies, for nylig hjulpet med at bedømme en international udfordring kaldet Critical Assessment of Metagenome Interpretation (CAMI), som benchmarked metagenomics-software. Resultaterne blev offentliggjort i tidsskriftet Naturens metoder den 2. oktober, 2017.

"Der er ingen algoritme, som vi kan sige er den bedste til alting, " sagde Pop, der også er meddirektør for Center for Sundhedsrelateret Informatik og Bioimaging på UMD. "Det, vi fandt, var, at ét værktøj gør det bedre i én sammenhæng, men en anden klarer sig bedre i en anden sammenhæng. Det er vigtigt for forskere at vide, at de skal vælge software baseret på de specifikke spørgsmål, de forsøger at besvare."

Undersøgelsens resultater var ikke overraskende for Pop, på grund af de mange udfordringer, metagenomics softwareudviklere står over for. Først, DNA-analyse er udfordrende i metagenomik, fordi det genvundne DNA ofte kommer fra marken, ikke et stramt kontrolleret laboratoriemiljø. Ud over, DNA fra mange organismer - hvoraf nogle måske ikke har kendte genomer - blandes sammen i en prøve, gør det vanskeligt at montere korrekt, eller stykke sammen, individuelle genomer. I øvrigt, DNA nedbrydes i barske miljøer.

"Jeg kan godt lide at tænke på metagenomics som en ny type mikroskop, " sagde Pop. "I gamle dage, du ville bruge et mikroskop til at studere bakterier. Nu har vi et meget kraftigere mikroskop, som er DNA-sekventering koblet med avancerede algoritmer. Metagenomics har løftet om at hjælpe os med at forstå, hvad bakterier gør i verden. Men først skal vi tune det mikroskop."

CAMIs leder inviterede Pop til at hjælpe med at evaluere indsendelserne fra udfordringsdeltagere på grund af hans ekspertise inden for genom- og metagenomsamling. I 2009 Pop hjalp med at udgive Bowtie, en af ​​de mest brugte softwarepakker til samling af genomer. For nylig, han samarbejdede med University of Maryland School of Medicine for at analysere hundredtusindvis af gensekvenser som en del af de største, mest omfattende undersøgelse af børnediarrésygdomme nogensinde udført i udviklingslande.

"Vi afslørede nye, ukendte bakterier, der forårsager diarrésygdomme, og vi fandt også interaktioner mellem bakterier, der kunne forværre eller forbedre sygdom, " sagde Pop. "Jeg føler, at det er et af de mest virkningsfulde projekter, jeg har lavet ved hjælp af metagenomics."

Til konkurrencen, CAMI-forskere kombinerede cirka 700 mikrobielle genomer og 600 virale genomer med andre DNA-kilder og simulerede, hvordan en sådan samling af DNA kunne se ud i felten. Deltagernes opgave var at rekonstruere og analysere genomerne af den simulerede DNA-pulje.

CAMI-forskere scorede deltagernes bidrag på tre områder:hvor godt de samlede de fragmenterede genomer; hvor godt de "binned, "eller organiseret, DNA-fragmenter i beslægtede grupper for at bestemme familierne af organismer i blandingen; og hvor godt de "profilerede, "eller rekonstrueret, identiteten og den relative mængde af de organismer, der er til stede i blandingen. Pop bidrog med målinger og software til evaluering af de indsendte samlede genomer.

Nitten hold indsendte 215 bidrag ved hjælp af seks genomsamlere, ni binnere og 10 profilere til at tackle denne udfordring.

Resultaterne viste, at for montering, Algoritmer, der stykkede et genom sammen ved hjælp af forskellige længder af mindre DNA-fragmenter, klarede sig bedre end dem, der brugte DNA-fragmenter af en fast længde. Imidlertid, ingen montører var gode til at adskille forskellige, dog lignende genomer.

Til binning-opgaven, forskerne fandt afvejninger i, hvor nøjagtigt softwareprogrammerne identificerede den gruppe, som et bestemt DNA-fragment tilhørte, i forhold til hvor mange DNA-fragmenter softwaren tildelte nogen grupper. Dette resultat tyder på, at forskere skal vælge deres binning-software baseret på, om nøjagtighed eller dækning er vigtigere. Ud over, ydeevnen af ​​alle binning-algoritmer faldt, når prøver inkluderede flere relaterede genomer.

I profilering, softwaren genfandt enten den relative overflod af bakterier i prøven bedre eller detekterede organismer bedre, selv ved meget små mængder. Imidlertid, sidstnævnte algoritmer identificerede den forkerte organisme oftere.

Fremadrettet, Pop sagde, at CAMI-gruppen vil fortsætte med at køre nye udfordringer med forskellige datasæt og nye evalueringer rettet mod mere specifikke aspekter af softwareydelse. Pop er begejstret for at se forskere bruge benchmarks til at løse forskningsspørgsmål i laboratoriet og klinikken.

"Metagenomiområdet har brug for standarder for at sikre, at resultaterne er korrekte, godt valideret og følger bedste praksis, " sagde Pop. "For eksempel, hvis en læge skal iscenesætte en intervention baseret på resultater fra metagenomisk software, det er vigtigt, at disse resultater er korrekte. Vores arbejde giver en køreplan for valg af passende software."