Replikační krize

Replikační krize (anglicky: replication crisis) je krize, kdy bylo zjištěno, že mnoho studií napříč několika vědními obory je těžké zopakovat a snaha o dospění k stejným výsledkům končí často neúspěšně. I když právě schopnost zopakovat výsledek z předešlých studií je považována za jednu ze základních složek vědy. Umožňuje totiž změnit zažité názory vědců. Replikační krize je nejčastěji spojována s psychologií a medicínou, objevuje se ale i u ostatních oborů jako ekonomie, biologie, či sociální vědy. V jistých oborech může být reprodukovatelná i méně než třetina výsledků.

Počátky krize

Daryl J. Bem

V psychologii je uváděn za počátek replikační krize rok 2011, kdy Daryl J. Bem provedl experiment, který prokazoval existenci časově obrácené kauzality a tedy, že budoucí události mají kauzální účinek na minulé události. +more Tato studie byla následně vydána ve vědeckých vlivných časopisech Social Psychology a Journal of Personality, což vyvolalo pochybnosti ve vědecké sféře. Pokus byl poté proveden dalšími nezávislými vědeckými týmy pomocí stejných metod, jak tomu bylo u Bema, avšak s neúspěšným výsledkem. Výsledné replikační studie, popírající tu originální, pak byly vědeckými časopisy odmítnuty včetně časopisů, které Bemovu studii publikovaly. Následkem toho bylo vyvolání pochybností z řad vědců v další publikované studie.

Diederyk Alexander Stapel

Dalším případem, který vyvolal diskuzi ohledně replikační krize je vědecký podvod nizozemského psychologa Diederyka Stapela. V roce 2011 se ukázalo, že psycholog manipuloval s daty, a to nejméně ve 30 svých publikacích. +more Velká část jeho kariéry tak byla postavena na pochybných základech. Svým kolegům měl předkládat jím upravené a zkreslené hodnoty, které byly dále analyzovány. K roku 2019 bylo staženo 58 jeho publikací.

Příčiny replikační krize

Publikační zkreslení

Vědecké časopisy publikují články s významnými závěry, zjištěním a vyvolávají tak tlak na vědce, kteří upravují data tak dlouho dokud nedosáhnou chtěného výsledku, který pak může být publikován. Studie, které dochází k negativním výsledkům, popřípadě samotné replikace studií jsou pak často odmítány a oproti těm pozitivním zaujímají v časopisech jen zlomek.

Velikost zkoumaného vzorku

Studie, které vycházejí z malého vzorku zkoumaných subjektů mohou mít zkreslené výsledky a může se zde projevit náhoda. Následná replikace je pak obtížná, vychází-li z většího vzorku, který by měl být objektivnější.

Nízká statistická síla

Statistická síla určuje pravděpodobnost, s kterou studie správně zamítne nulovou hypotézu. Například v neurovědě je publikováno 85 % studií se statisticky významným výsledkem, nicméně průměrná statistická síla těchto studií dosahuje přinejlepším hodnoty 31 %. +more Pokud by nedocházelo ke zkreslení publikování statisticky významných výsledků, měly by se tyto dvě hodnoty shodovat. Rozdíl mezi těmito hodnotami (85 % a 31 %) je proto indikátorem zkreslení.

Změna stavu

I když studie provedená v minulosti proběhla v pořádku, studie snažící se o replikaci mohou vykazovat odlišný závěr vlivem změny prostředí, smýšlení lidí, politické situace, času aj.

Vědecký „cheating“

Cherry picking

Zatajení, či ignorování některých proměnných, které se podílely na výsledku, nebo zveřejnění jen významných, pozitivních výsledků z velkého počtu realizovaných pokusů.

HARKing

(hypothesizing after the results are known)

Pochybný vědecký postup, kdy hypotéza je vytvořena až poté co jsou známy výsledky. Předchozí hypotéza je mnohdy vynechána, neboť se neslučuje s výsledky testu. +more Následně je stanovena taková hypotéza, která koresponduje s výsledky práce a činí tak studii úspěšnou, i když prvotní studie chtěla najít zcela jiný efekt. Takovýto postup, kdy otázka je uměle předložena až po znalosti výsledku není v souladu se správným vědeckým postupem.

p-hacking

Zneužití datové analýzy, kdy jsou sbírána data tak dlouho dokud nenastane potřebná hodnota p. Často je tak sbíraný vzorek nižší, než původně výzkumníci zamýšleli. +more Patří sem i upravování hodnoty p, například zaokrouhlováním (0,054 na 0,05 aj. ).

Možná řešení

V posledních letech (přinejmenším od roku 2011) probíhají mezi vědci a veřejností debaty, jak zabránit publikování těchto pochybných, zkreslených studií a byla navržena možná opatření.

Podpora předběžných registrací

Jedná se o registraci vědecké studie na oficiálních místech před jejím provedením. Měla by znemožnit zkreslení výsledků, úpravu dat, či HARKing.

Snížení hodnoty p

Mnoho publikací vyžaduje pro získání statistické významnosti hodnotu p < 0,05. Mnoho vědců navrhuje snížit tuto hodnotu pod 0,005, což by mělo zjednodušit samotnou reprodukovatelnost.

Zařazení replikací do studia

Studenti by na základě přesných metodologických postupů replikovali původní studie, přičemž by pomohli vědecké komunitě s ověřitelností dosud neověřených prací a získali by praktické zkušenosti. Podobně tomu je například na univerzitě ve Washingtonu.

Přístup časopisů

Replikace studií by se na poli vědeckých časopisů měly stát standardně publikovanými. Nynější přístup je takový, že replikace jsou vnímány jako nezajímavé, protože buď pouze potvrdí efekt předchozí studie anebo přichází s negativním výsledkem, který není pro časopis tak atraktivní.

Transparentnost dat

Dalším možným způsobem je sdílení nezpracovaných dat. Data by byla uložena na online úložištích, kde mohou být následně kontrolována, vyhodnocována a přezkoumávána veřejností, či dalšími vědci. +more Jedním z takových úložišť je například Open Science Framework (osf. io).

Replikační projekty

Open Science

V roce 2015 časopis Science zveřejnil článek, který zkoumal reprodukovatelnost experimentů v psychologii. Bylo vybráno 100 studií ze třech psychologických časopisů s cílem dosáhnout stejných výsledků, jak tomu bylo u původních studií. +more Pouze u 36 % z 97 % originálních studií bylo dosaženo signifikantních výsledků.

Many Labs 1

Do projektu bylo zapojeno 36 výzkumných týmů z 11 zemí s cílem replikovat zvolených 13 psychologických efektů. Všechny týmy musely striktně dodržovat stanovený postup a kritéria. +more Výsledek projektu ukázal, že se týmům podařilo úspěšně replikovat 10 z 13 efektů. Ani jednomu z týmu se nepodařilo replikovat zbylé 3 efekty (flag priming, currency priming, imagined contact).

Amy Cuddy - power posing

V roce 2015 se Eva Ranehill a její tým rozhodli replikovat „postoj síly“, který byl publikován již roku 2010 ve vědeckém časopisu Psychological Science americkou psycholožkou Amy Cuddy. Postoj měl být jakýsi „life-hack“ a umožnit člověku dosáhnout větší síly, přičemž samotný postoj měl ovlivnit i hladinu hormonů v těle. +more Při replikaci byl vybrán vzorek zhruba pětkrát větší než při původním pokusu. Týmu se nepodařilo dosáhnout původního efektu a shledal tak toto tvrzení jako další z případů, kdy vlivem náhody bylo dosaženo statisticky významného výsledku.

Reference

Související články

Vědecký podvod

Kategorie:Metodologie Kategorie:Vědecká metoda Kategorie:Filozofie vědy