Pred približno petnajstimi leti se je v znanstveni skupnosti, predvsem na področju psihologije, medicine in družbenih ved pojavil problem replikacije oz. ponovitve. Replikacije raziskav iz preteklosti niso prinesle enakih uspešnih rezultatov in naenkrat so se začeli dvomi v zanesljivost znanstvenih dognanj in v metode, ki se uporabljajo. S tem se je načel tudi ugled akademskih institucij, ki raziskave objavljajo, in znanost je izgubila nekaj zaupanja. Kljub temu pa nekateri člani znanstvene skupnosti poudarjajo, da ima takšna kriza imela za znanost tudi pozitivne posledice, saj je podkrepila koncept odprte znanosti in prisilila znanost v temeljitejše preverjanje lastne verodostojnosti.
Kaj je kriza replikacije?
Leta 2011 in v nekaj letih, ki so sledila, se je pojavilo vrsto raziskav na področju psihologije, ki so razkrile, da nekaterih vplivnih ugotovitev z ponovitvijo originalnih raziskav niso mogli potrditi. Ena izmed najbolj znanih in obširnih projektov je Reproducibility Project, v sklopu katerega so raziskovalci poskusili ponoviti 100 raziskav s področja psihologije, objavljenih v najuglednejših znanstvenih revijah. Prvotne ugotovitve jim je uspelo potrditi zgolj v 36 % raziskav. Podobne težave so se pojavile pri ponovitvah študij tudi na drugih področjih, npr. v medicini.
Ponovitve študij so v znanosti pomembne, saj zagotavljajo večjo ali manjšo gotovost v določena znanstvena dognanja. Lahko rečemo, da gre za nekakšen sistem samodejnega popravljanja, kjer se pretekle ugotovitve venomer preverja in prilagaja. Gre torej za nekaj običajnega, normalen vzvod znanstvene skupnosti, preko katerega se zagotavlja veljavnost in robustnost rezultatov. Problem nastane, kadar precejšen delež vseh raziskav pade na testu replikacije.
Možni razlogi za težave pri replikacijah
Znanost si je treba interpretirati kot socialni sistem, kjer so raziskovalci odvisni od marsikaterih ostalih faktorjev, ki vplivajo na njihova dejanja. Dolgo že ni več tistih časov, ko bi raziskovanje potekalo zgolj zaradi raziskovanja samega. Kdor si hoče v akademskih krogih zgraditi dolgo in uspešno kariero, mora izpolnjevati določene raziskovalne kriterije. Na raziskovalcih je velik pritisk, da konstantno objavljajo članke v karseda uglednih znanstvenih revijah, da bi si zagotovili prepoznavnost in financiranje. Znanstvene institucije največkrat dajejo prednost raziskovalcem, ki prinesejo več prepoznavnosti in sredstev. Uredniki znanstvenih revij pa so zelo pogosto najbolj dovzetni za raziskave s pozitivnimi rezultati in senzacionalnimi novimi odkritji. Gre za pristranskost objavljanja izvirnih člankov, ki niso korektno metodološko podkrepljeni. Novosti se daje prednost pred ustrezno metodo. Tako hitro pride do tega, da prikaz znanstvenih odkritij v znanstveni literaturi ne odraža resničnega stanja, saj se mnogo raziskav, ki zavračajo neke ugotovitve, ne objavi.
Toksična miselnost znotraj akademske skupnosti, ki se jo pogosto označuje z izrazom »publish or perish« oz. »objavi ali umri« vodi v uporabo takšnih statističnih testov, ki dajejo statistično značilne rezultate in vprašljive raziskovalne prakse. Pogosto se zgodi tudi, da raziskovalci po analizi rezultatov spremenijo ali zamenjajo svoje hipoteze. Do takšnih in podobnih najpogosteje ne pride iz zlonamernosti raziskovalcev, ampak iz težnje po objavi.
Razlog, zakaj težave z replikacijami v takšnem obsegu niso ugotovili že prej, je tudi v tem, da replikacije raziskav niso zelo privlačne. Večina raziskovalcev želi namreč narediti nekaj izvirnega in senzacionalnega, ne pa ponavljati raziskave nekoga drugega. Kot že omenjeno, pa so spet prisotni tudi vplivi institucij financiranja in objavljanja, ki nočejo ponovitev, ampak napredek in nove raziskave.
Seveda pa se razlike pri replikacijah raziskav pojavijo tudi, ker si uporabljene metodologije niso vedno enake in ker so učinki lahko od vzorca do vzorca različni, ne glede na to, kako enaka se dva vzorca zdita. Obstaja tudi možnost, da je v prvotnih raziskav prišlo do klasičnih statističnih napak prve ali druge vrste, pri čemer gre pri prvi za potrditev nekega učinka na vzorcu, ki ga v resnici v populaciji ni, pri drugi pa za ovržbo nekega učinka na vzorcu, ki v resnici obstaja.
Posledice in kako naprej?
Kriza replikacije je brez dvoma vplivala na javno zaupanje v znanost, še posebej na slepo verjetje vsemu, kar je objavljeno v znanstveni literaturi. Vsako poročanje v medijih o neuspelih ponovitvah raziskav negativno vpliva na verodostojnost znanstvenikov in znanstvenic, pri čemer se je treba zavedati, da se ta negativen vpliv širi preko vseh disciplin.
Kljub temu ni vse tako črnogledo. Nekateri strokovnjaki poudarjajo, da je kriza replikacije preveč odmevna, saj iz same narave raziskovanja ne moremo pričakovati, da bo vsaka raziskava uspešno replicirana. Pri vseh raziskavah je prisotna velika mera negotovosti in dostikrat so vpleteni faktorji, na katere ne moremo vplivati. Zato pozivajo osredotočenost na tiste dele raziskovalne prakse, na katere lahko vplivamo in ki lahko pomagajo odpraviti težave z replikacijo.
Zelo pomemben je koncept odprte znanosti, ki vključuje postopke, kako zagotoviti maksimalno transparentnost vsake raziskave že od samega začetka načrtovanja. To vključuje obojestransko zavezanost k maksimalni raziskovalni integriteti tako s strani znanstvenikov kot s strani založnikov in urednikov znanstvene literature. Postopek predregistracije nekega članka zagotavlja, da se morajo znanstveniki držati svojega raziskovalnega načrta, revije pa se zavežejo, da bodo raziskavo objavile ne glede na rezultate. Hkrati je potreben vsesplošen poudarek na preverjanju metodologije, ki se uporablja v raziskavah, ne glede na smer raziskovanja.
Kriza replikacije je na nek način izpostavila šibke točke delovanja znanosti in postala gonilo za izboljšanje. Transparentnost in metodološka rigoroznost znanosti se je – najverjetneje ravno kot odgovor na krizo – v prejšnjih letih zelo povečala. Znanstvena skupnost je krizo na srečo izkoristila za izboljšanje kakovosti raziskovalnega dela. Obstajajo pa še možnosti za izboljšanje, in sicer s spremembo modela ocenjevanja akademske uspešnosti na podlagi količine objavljenih člankov in z ustreznim komuniciranjem med javnostjo in znanostjo.
Viri
Baker, M. (2016). 1,500 scientists lift the lid on reproducibility. Nature, 533(7604), 452–454. https://doi.org/10.1038/533452a
Hunter, P. (2017). The reproducibility “crisis.” EMBO Reports, 18(9), 1493–1496. https://doi.org/10.15252/embr.201744876
Korbmacher, M., Azevedo, F., Pennington, C. R., Hartmann, H., Pownall, M., Schmidt, K., Elsherif, M., Breznau, N., Robertson, O., Kalandadze, T., Yu, S., Baker, B. J., O’Mahony, A., Olsnes, J. Ø.-., Shaw, J. J., Gjoneska, B., Yamada, Y., Röer, J. P., Murphy, J., . . . Evans, T. (2023). The replication crisis has led to positive structural, procedural, and community changes. Communications Psychology, 1(1). https://doi.org/10.1038/s44271-023-00003-2
