Letvægtsværktøjskasser smarte med tungvægtsdata

En gratis, open source-værktøjssæt til at hjælpe forskere med at håndtere overbelastning af datastyring er blevet udviklet af John Innes Center Informatics-teamet.

Værktøjskassen, kaldet "dtool, " er en suite af software til at administrere videnskabelige data og gøre den tilgængelig for frontlinjeforskere, der arbejder på tværs af flere projektområder.

Det fungerer ved at pakke data og metadata – information, der identificerer dataene – i praktiske kasser eller datasæt.

Disse selvstændige pakker med data og metadata gør det nemt at flytte datasæt rundt og oprette eksterne sikkerhedskopier.

Værktøjerne fungerer med både traditionelle filsystemer såvel som cloud-muligheder som Amazon S3 og Microsoft Azure, giver forskere mulighed for at vælge den opbevaringsløsning, der passer bedst til deres behov og budgetter.

Systemet betyder, at forskere hurtigt kan finde datasæt af interesse uden hovedpine at skulle tilgå og vedligeholde en central database. De pakkede metadata kan bruges til at verificere integriteten af ​​dataene i boksen.

John Innes Center-teamet skitserer fordelene ved dtool i en artikel offentliggjort i PeerJ – Journal of Life and Environmental Sciences.

De siger, at værktøjssættet giver ro i sindet, fordi forskere ved, at data, der understøtter videnskabelige resultater, er sikre, søgbar og tilgængelig på tværs af et højt distribueret forskningsmiljø som John Innes Centret.

Dr. Tjelvar Olsson, Senior Scientific Data and Infrastructure Manager ved John Innes Centre, hvem er en af ​​skaberne af systemet, sagde:"På John Innes Center har vi 40 forskellige forskningsgrupper, der beskæftiger sig med enorme mængder af alle slags data.

"Vi ønsker, at flere mennesker bruger dtool til at administrere deres data. Vi har designet det på en måde, der passer ind i deres måde at arbejde på, en letvægter, løsning brugt på en minimal måde, der ligger oven i det, de allerede gør."

En af de tidlige brugere af dtool er teamet af Dr. Brande Wulff, der arbejder med sygdomsresistens i hvede på John Innes Centret.

Fremskridt inden for teknologier såsom genetisk sekventering og beregningssystembiologi har bidraget til en eksplosion i mængder og typer af data. Selvom dette har ført til store fremskridt inden for plante- og mikrobielvidenskab, har det ført til betydelige udfordringer inden for datastyring og -behandling for frontlinjeforskere.

Dr. Matthew Hartley, Leder af JIC's informatikteam, der hjalp med at udtænke dtool, sagde, at virkningen allerede kunne mærkes.

"Håndtering af data i stor skala er en af ​​de største udfordringer inden for beregningsbiologisk forskning. dtool har gjort lagring af vores data billigere, givet os ro i sindet og fremskyndede vores forskning."

"Letvægtsdatahåndtering med dtool" udgives i PeerJ .