En ud af fem materialekemipapirer kan være forkerte, undersøgelse tyder på

Kan virksomheder stole på resultaterne af en eller to videnskabelige undersøgelser til at designe en ny industriel proces eller lancere et nyt produkt? Inden for mindst ét ​​område af materialekemi, svaret kan være ja - men kun 80 procent af tiden.

Replikerbarheden af ​​resultater fra videnskabelige undersøgelser er blevet en stor kilde til bekymring i forskersamfundet, især inden for samfundsvidenskab og biomedicin. Men mange forskere inden for ingeniørvidenskab og hårde videnskaber har ikke følt samme grad af bekymring for uafhængig validering af deres resultater.

En ny undersøgelse, der sammenlignede resultaterne rapporteret i tusindvis af artikler offentliggjort om egenskaberne af metal organiske rammematerialer (MOF) - som er fremtrædende kandidater til kuldioxidadsorption og andre separationer - antyder, at replikerbarhedsproblemet burde være et problem for materialeforskere, også.

En ud af fem undersøgelser af MOF-materialer undersøgt af forskere ved Georgia Institute of Technology blev vurderet til at være "outliers, " med resultater langt ud over de fejlbjælker, der normalt bruges til at evaluere undersøgelsesresultater. De tusindvis af forskningsartikler gav kun ni MOF-forbindelser, for hvilke fire eller flere uafhængige undersøgelser tillod passende sammenligning af resultater.

"På et grundlæggende niveau, Jeg tror, ​​at folk inden for materialekemi føler, at ting er reproducerbare, og at de kan regne med resultaterne af en enkelt undersøgelse, " sagde David Sholl, en professor og John F. Brock III skoleformand i Georgia Tech School of Chemical and Biomolecular Engineering. "Men det, vi fandt, er, at hvis du trækker et eksperiment ud tilfældigt, der er en ud af fem chance for, at resultaterne er helt forkerte - ikke bare en smule dårligere, men ikke engang tæt på."

Hvorvidt resultaterne kan anvendes mere bredt til andre områder af materialevidenskab, afventer yderligere undersøgelser, sagde Sholl. Resultaterne af undersøgelsen, som blev støttet af det amerikanske energiministerium, blev offentliggjort den 28. november i ACS-tidsskriftet Materialernes kemi .

Sholl valgte MOF'er, fordi de er et interesseområde for hans laboratorium - han udvikler modeller for materialerne - og fordi National Institute of Standards and Technology (NIST) og Advanced Research Projects Agency-Energy (ARPA-E) allerede havde samlet en database, der opsummerer egenskaberne ved MOF'er. Medforfatterne Jongwoo Park og Joshua Howe brugte metaanalyseteknikker til at sammenligne resultaterne af en-komponent adsorptionsisoterm-testning - hvor meget CO2 kan fjernes ved stuetemperatur.

Denne måling er ligetil, og der er kommercielle instrumenter til rådighed til at udføre testene. "Folk i samfundet ville betragte dette som et næsten idiotsikkert eksperiment, " sagde Sholl, som også er en Georgia Research Alliance Eminent Scholar in Energy Sustainability.

Forskerne betragtede resultaterne som definitive, da de havde fire eller flere undersøgelser af en given MOF under sammenlignelige forhold.

Konsekvenserne for fejl i materialevidenskab kan være mindre end i andre forskningsfelter. Men virksomheder kunne bruge resultaterne af en eller to undersøgelser til at vælge et materiale, der ser ud til at være mere effektivt, og i andre tilfælde, forskere, der ikke er i stand til at replikere et eksperiment, kan simpelthen gå videre til et andet materiale.

"Nettoresultatet er ikke-optimal brug af ressourcer i det mindste, "Sholl sagde. "Og enhver rapport, der bruger et eksperiment til at konkludere, at et materiale er 15 eller 20 procent bedre end et andet materiale, bør betragtes med stor skepsis, da vi i de fleste tilfælde ikke kan være særlig præcise på disse målinger."

Hvorfor variabiliteten i resultater? Nogle MOF'er kan være kræsne, hurtigt absorberende fugt, der påvirker adsorption, for eksempel. En ud af fem "outliers" kan være et resultat af materialeforurening.

"Et af de materialer, vi undersøgte, er relativt enkelt at lave, men det er ustabilt i en omgivende atmosfære, " Sholl forklarede. "Nøjagtig hvad du gør mellem at lave det i laboratoriet og teste det vil påvirke de egenskaber, du måler. Det kunne forklare noget af det, vi så, og hvis et materiale er så følsomt, vi ved, at det bliver et problem i praktisk brug."

Andre faktorer, der kan forhindre replikering, omfatter detaljer, der utilsigtet blev udeladt af en metodebeskrivelse - eller som de oprindelige videnskabsmænd ikke var klar over var relevante. Det kunne være så simpelt som den præcise atmosfære, hvori materialet holdes, eller de materialer, der anvendes i det apparat, der producerer MOF'erne.

Sholl håber, at papiret vil føre til flere replikering af eksperimenter, så videnskabsmænd og ingeniører kan vide, om deres resultater virkelig er signifikante.

"Som et resultat af dette, Jeg tror, ​​at min gruppe vil se på alle rapporterede data på en mere nuanceret måde, ikke nødvendigvis mistanke om, at det er forkert, men tænker på, hvor pålidelige disse data kan være, " sagde han. "I stedet for at tænke på data som et tal, vi skal altid tænke på det som et tal plus en rækkevidde."

Sholl foreslår, at mere rapportering af anden, tredje eller fjerde forsøg på at replikere et eksperiment ville hjælpe med at øge tilliden til data om MOF-materialers egenskaber. Det videnskabelige publiceringssystem giver i øjeblikket ikke meget incitament til rapporteringsvalidering, selvom Sholl håber, at det vil ændre sig.

Han mener også, at spørgsmålet skal diskuteres inden for alle dele af det videnskabelige samfund, selvom han indrømmer, at det kan føre til "ubehagelige" samtaler.

"Vi har præsenteret denne undersøgelse et par gange på konferencer, og folk kan blive ret defensive over det, " sagde Sholl. "Alle i marken kender alle andre, så det er altid nemmere bare ikke at bringe dette spørgsmål op."

Og, selvfølgelig, Sholl vil gerne se andre gentage det arbejde, han og hans forskerhold udførte. "Det bliver interessant at se, om dette en ud af fem tal holder til andre typer eksperimenter og materialer, " tilføjede han. "Der er helt sikkert andre områder inden for materialekemi, hvor denne form for sammenligning kunne udføres."