https://frosthead.com

Az orvosbiológiai tudományos tanulmányok megdöbbentően nehéz reprodukálni

Nehéz vitatni a tudomány hatalmát. A legújabb étrendi tendenciákat értékelő tanulmányoktól a boldogság előrejelzőit megvilágító kísérletektől kezdve az emberek egyre inkább a tudományos eredményekre támaszkodnak, mint konkrét, megbízható tények, amelyek meghatározzák, hogyan gondolkodunk és cselekszünk.

kapcsolodo tartalom

  • A tudósok 100 pszichológiai tanulmányt megismételték, és kevesebb mint felük kapott ugyanazt az eredményt

Az utóbbi néhány évben azonban a tudósok egyre növekvő csoportja megkérdőjelezte a közzétett kutatások elfogadott valódiságát - még azután is, hogy megszüntette a szakértői értékelés akadályait és megjelenik a széles körben elismert folyóiratokban. A probléma az átfogó képtelenség arra, hogy az eredmények nagy részét számos tudományterületen megismételje.

Például 2005-ben John Ioannidis, a Stanfordi Egyetem orvosprofesszora több szimulációt használt annak bemutatására, hogy a tudományos állítások valószínűleg hamisak, mint valósak. És az elmúlt nyáron Brian Nosek, a Virginiai Egyetem pszichológiai professzora megpróbálta megismételni 100 pszichológiai tanulmány eredményeit, és megállapította, hogy az eredményeknek csak 39 százaléka áll szigorú újbóli tesztelés alatt.

"Többféle bizonyíték van, mind elméleti, mind empirikus, amelyek megkezdték a tudományos irodalom jelentős részének reprodukálhatóságának kérdőjelezését" - mondja Ioannidis. "Több millió papírt kapunk, amelyek sehova nem mennek."

Ezen előzetes megállapítások eredményeként létrejött egy teljesen új, meta-kutatásnak nevezett terület - a tudomány tudományos kutatása.

Ezen a héten a Közhasznú Tudományos Könyvtár (PLOS), a nonprofit kiadó és érdekképviseleti szervezet biológiai szakága új szekciót nyitott, amely kizárólag a metakutatásnak szentelt. A szakasz olyan kérdéseket tár fel, mint a kutatás átláthatósága, a módszertani szabványok, az torzítás forrásai, az adatok megosztása, a finanszírozás és az ösztönző struktúrák.

A dolgok elindítása érdekében Ioannidis és munkatársai egy, a 2000 és 2014 között közzétett 441 orvosbiológiai cikkből vett véletlenszerű mintát értékeltek. áttekintést adott egy adott területről, és tartalmazza a finanszírozási források és az egyéb lehetséges összeférhetetlenségek dokumentációját.

Eredményeik enyhén szólva zavaróak. Például csak egy vizsgálat nyújtott teljes kísérleti protokollt, és a nulla vizsgálat közvetlenül rendelkezésre álló nyers adatokat szolgáltatott.

"Ez a reprodukálhatóság két alappillére" - mondja Ioannidis. „Ha nem állnak rendelkezésre adatok és a teljes protokoll, akkor semmit sem lehet sokszorosítani.” Végül is, a kulcsfontosságú információk nélkül egy másik csapat pontosan tudja, mit kell tennie, és hogyan különböznek azok eredményei az eredeti kísérlet eredményeitől?

A csoport azt is megállapította, hogy a megkérdezett cikkek mindössze nyolcának állításait későbbi vizsgálatok megerősítették. És bár sok tanulmány állítása szerint új megállapításokkal rendelkezik, a későbbi áttekintő cikkekben csak 16 cikk eredményei szerepelnek, amelyek lakmusz-próbaként szolgálnak a tanulmány egy adott témára gyakorolt ​​valódi hatására.

"A számok, amelyeket megkapunk, nagyon félelmesek" - mondja Ioannidis. "De láthatja, hogy kiindulási pontként szolgálunk ahhoz, hogy hol vagyunk, és rengeteg lehetőség van a fejlesztésre."

Ugyanakkor nem minden eredmény volt elriasztó. Az összeférhetetlenségi nyilatkozat nélküli cikkek százalékos aránya a 2000. évi 94, 4% -ról 2014-ben 34, 6% -ra csökkent - valószínűleg annak eredményeként, hogy egyre inkább tudatában vannak a torzítás káros hatásainak a kutatási eredményekre.

Egy második meta-kutatási tanulmányban egy német csapat elemezte, hogy az állatkísérletek elvesztése a preklinikai vizsgálatok során hozzájárulhatott ahhoz, hogy a laboratóriumi eredményeket hasznos klinikai gyógyszerekké alakítsák át.

A kísérleti állatok véletlenszerűen eltűnhetnek a vizsgálatból - például azért, mert az állat elpusztult -, vagy finoman elfogult tevékenységekkel, például úgy, hogy eltávolítják a kísérletből a várt eredményeket aláásó adatok eltávolítása céljából. A csoport bebizonyította, hogy az állati alanyok elfogult eltávolítása torzíthatja az eredményeket, és jelentősen megnövelheti a hamis pozitív események valószínűségét - amikor egy új gyógyszerről úgy gondolják, hogy működik, de valójában nem.

A stroke és a rák preklinikai vizsgálatainak külön elemzésében ugyanezek a kutatók megállapították, hogy a legtöbb cikk nem jelentette megfelelően az állatok elvesztését, és hogy sok vizsgált gyógyszer pozitív hatásait nagymértékben túlbecsülhetik.

Miért történik elsősorban az átláthatóság és a reprodukálhatóság válsága?

Bár egyes kérdések a tudatos vagy tudattalan kutatási torzulásokban rejlenek, valószínű, hogy a publikációt elérő legtöbb tanulmány a tudomány jelenlegi ösztönző struktúrájának köszönhető.

Az akadémia világszerte a siker elsődleges mérőszáma az a tanulmányok száma, amelyeket egy kutató megkap a rangos folyóiratokban. Ennek eredményeként a tudósok nyomást gyakorolnak arra, hogy idejük nagy részét olyan áttörési eredmények elérésére töltsék, amelyeket valószínűleg közzétesznek.

"Miközben értékeljük a reprodukálhatóságot a koncepcióban, nem igazán értékelik azt a gyakorlatban" - mondja Nosek, aki egyúttal a Köztudott Tudományos Központ társigazgatója, egy nonprofit technológiai startup, amely a tudományos kutatás átláthatóságának és reprodukálhatóságának elősegítésére törekszik.

„A tudós viselkedésem valódi ösztönzője az innováció, az új felfedezések és az új terek megtörése - hogy ne ismételjük meg mások által tett lépéseket. Ez a tudomány unalmas része. ”

A tudósok kevés ösztönzőt látnak arra is, hogy mások munkájának megismételéséhez szükséges információkat biztosítsák, ami az egyik elsődleges oka annak, hogy sok tanulmány állításai ellenőrizetlenek maradnak.

"Nem kapok jutalmat az adataim rendelkezésre bocsátásáért vagy a módszertanom mélyebb kifejtéséért, mint ami egy kiadványhoz szükséges" - mondja Nosek.

Számos folyóirat felkéri a tudósokat, hogy mutassák meg módszereiket és osszák meg az adatokat, ám ezeket a politikákat ritkán hajtják végre, és nincsenek egyetemes közzétételi szabványok.

„Ha tudtam, hogy soha nem lesz zsaruk az utakon, mindig betartanék a sebességkorlátozást? Nem - ez az emberi természet ”- mondja Ivan Oransky, a Retraction Watch szervezet alapítója, amely elősegíti az elszámoltathatóságot és az átláthatóságot azáltal, hogy a visszahúzódásokat a tudományos irodalomban követi. "Ha tudod, hogy senki sem szankcionál téged, akkor nem fog megosztani az adatokat."

Azok a tudósok, akik replikációs munkát akarnak végezni és kísérleti részleteket tudnak beszerezni, valószínűleg nem fognak finanszírozást találni olyan állami ügynökségektől, mint az NIH, akik elsősorban az újdonság és az innováció alapján ítélik meg a pályázatokat.

"Az esélyek egyértelműen a replikáció ellen vannak" - mondja Ioannidis.

Itt léphet be a feltörekvő metakutatás területe. Az olyan szervezetek, mint a Nyílt Tudomány Központ és a Stanfordi Meta-kutatási Innovációs Központ (METRICS) azon dolgoznak, hogy újraértékeljék a jutalmazási rendszert, és szigorú egyetemes szabványokat állítsanak fel, amelyek ösztönzik a szélesebb körű elterjedést. átláthatósági és reprodukálhatósági gyakorlatok.

„Ha a finanszírozás mértéke vagy a promóció attól függ, hogy mi történt az előző kutatással - ha megismételhető volt-e, ha az emberek érthetik-e azt, ha az emberek valami hasznosra fordíthatják, nem pedig csupán az, hogy hány papírt tettél közzé - az lenne nagyon erős ösztönzés a kutatás megváltoztatására, hogy reprodukálhatóbbá váljon. ”- mondja Ioannidis, a METRICS társigazgatója.

„Remélem, hogy ezek a mutatók javulnak” - tette hozzá. "És néhányuknak nincs más lehetősége, mint felmenni, mert nulláról kezdjük."

Az orvosbiológiai tudományos tanulmányok megdöbbentően nehéz reprodukálni