Izkazalo se je, da približno 50 % znanstvenih poskusov ni ponovljivih

2024 Avtor: Seth Attwood | [email protected]. Nazadnje spremenjeno: 2023-12-16 16:16

Po naključju sem v toku novic in informacij naletel na članek v Nature Scientific Reports. Predstavlja podatke iz ankete 1500 znanstvenikov o ponovljivosti rezultatov znanstvenih raziskav. Če je bil ta problem prej izpostavljen za biološke in medicinske raziskave, kjer je po eni strani razložljiva (obtožujejo se lažne korelacije, splošna kompleksnost preučevanih sistemov, včasih celo znanstvena programska oprema), ima po drugi strani fenomenološko značaj (na primer, miši se običajno obnašajo različno z znanstveniki različnih spolov (1 in 2)).

Vendar ni vse gladko in z večnaravoslovne vede, kot so fizika in tehnika, kemija, ekologija. Zdi se, da prav te discipline temeljijo na "absolutno" ponovljivih poskusih, izvedenih v najbolj nadzorovanih pogojih, žal, neverjeten - v vsakem pomenu besede - rezultat raziskave: do 70%s katerimi se soočajo raziskovalci Ni ponovljivoeksperimente in rezultate, ki so jih pridobile ne le druge skupine znanstvenikov, AMPAK in avtorjev/soavtorjev objavljenih znanstvenih del!

Ali vsak pesek hvali svoje močvirje?

Čeprav 52 % anketirancev opozarja na krizo ponovljivosti v znanosti, jih manj kot 31 % meni, da so objavljeni podatki v osnovi napačni, večina pa je navedla, da še vedno zaupa objavljenemu delu.

Seveda ne bi smeli sekati z ramena in linčati vse znanosti kot take le na podlagi te ankete: polovica anketiranih je bila še vedno znanstvenikov, tako ali drugače povezanih z biološkimi disciplinami. Kot ugotavljajo avtorji, je v fiziki in kemiji stopnja ponovljivosti in zaupanja v dobljene rezultate veliko višja (glej spodnji graf), vendar še vedno ne 100-odstotna. Toda v medicini so stvari v primerjavi z ostalimi zelo slabe.

Na misel mi pride šala:

Marcus Munafo, biološki psiholog z Univerze v Bristolu v Angliji, se že dolgo zanima za ponovljivost znanstvenih podatkov. Ko se spominja dni svojih študentskih dni, pravi:

Enkrat sem poskušal iz literature reproducirati eksperiment, ki se mi je zdel preprost, a mi to preprosto ni uspelo. Imel sem krizo samozavesti, potem pa sem ugotovil, da moja izkušnja ni tako redka.

Problem širine in dolžine globine

Predstavljajte si, da ste znanstvenik. Naletel na zanimiv članek, vendar rezultatov/poskusov ni mogoče reproducirati v laboratoriju. Logično je, da o tem pišete avtorjem izvirnega članka, vprašate za nasvet in postavite pojasnila. Glede na raziskavo, manj kot 20 %so to storili že kdaj v svoji znanstveni karieri!

Avtorji študije ugotavljajo, da so morda tovrstni stiki in pogovori za znanstvenike same pretežki, ker razkrivajo njihovo nesposobnost in nedoslednost pri določenih vprašanjih ali razkrivajo preveč podrobnosti aktualnega projekta.

Poleg tega je absolutna manjšina znanstvenikov poskušala objaviti zavrnitev neponovljivih rezultatov, medtem ko se je soočala z nasprotovanjem urednikov in recenzentov, ki so zahtevanozmanjšati primerjavo z izvirno raziskavo. Ali je čudno, da je možnost poročanja o neponovljivosti znanstvenih rezultatov približno 50-odstotna.

Mogoče je potem vredno opraviti vsaj test obnovljivosti v laboratoriju? Najbolj žalostno je, da tretjina vprašanih celo NIKOLIin ni razmišljal o ustvarjanju metod za preverjanje obnovljivosti podatkov. samo 40 %navedli, da redno uporabljajo takšne tehnike.

Drugi primer, biokemičarka iz Združenega kraljestva, ki svojega imena ni želela razkriti, pravi, da poskusi ponovitve, reproduciranja dela za njen laboratorijski projekt preprosto podvojijo čas in materialne stroške, ne da bi k delu dali ali dodali kaj novega. Dodatni pregledi se izvajajo samo za inovativne projekte in nenavadne rezultate.

In seveda večna ruska vprašanja, ki so začela mučiti tuje kolege: kdo je kriv in kaj storiti?

kdo je kriv?

Avtorji dela so identificirali tri glavne težave obnovljivosti rezultatov:

• Pritisk nadrejenih, da se delo objavi pravočasno
• Selektivno poročanje (očitno pomeni zatiranje nekaterih podatkov, ki "pokvarijo" celotno sliko)
• Nezadostna analiza podatkov (vključno s statističnimi)

Kaj storiti?

Od 1500 anketiranih se je več kot 1000 strokovnjakov izreklo za izboljšanje statistike pri zbiranju in obdelavi podatkov, izboljšanje kakovosti nadzora s strani šefov in strožje načrtovanje eksperimentov.

Zaključek in nekaj osebnih izkušenj

Prvič, tudi zame, kot znanstvenika, so rezultati osupljivi, čeprav sem navajen na določeno mero neponovljivosti rezultatov. To je še posebej očitno pri delih, ki so jih izvajali Kitajci in Indijci brez »revizije« tretjih oseb v obliki ameriških/evropskih profesorjev. Dobro je, da so problem prepoznali in razmislili o njegovi rešitvi(-ah). O ruski znanosti bom v zvezi z nedavnim škandalom taktično molčal, čeprav mnogi pošteno opravljajo svoje delo.

Drugič, članek ignorira (oziroma ne upošteva) vlogo znanstvenih metrik in recenziranih znanstvenih revij pri nastanku in razvoju problema neponovljivosti rezultatov raziskav. V zasledovanju hitrosti in pogostosti objav (beri, porast indeksov citiranosti) kakovost močno pade in ni časa za dodatno preverjanje rezultatov.

Kot pravijo, so vsi liki izmišljeni, vendar temeljijo na resničnih dogodkih. Nekako je imel en študent možnost pregledati članek, saj nima vsak profesor časa in energije za premišljeno branje člankov, zato se zbere mnenje 2-3-4 študentov in zdravnikov, iz katerih se oblikuje ocena. Napisan je bil pregled, ki je nakazal neponovljivost rezultatov po metodi, opisani v članku. To se je profesorju jasno pokazalo. A da ne bi pokvarili odnosov s "kolegi" - navsezadnje jim vse uspe - je bil pregled "popravljen". In objavljeni so 2 ali 3 takšni članki.

Izkaže se začaran krog. Znanstvenik pošlje članek uredniku revije, kjer navede » zaželeno"In predvsem" nezaželeno »Recenzenti, torej puščajo le tiste, ki so do avtorske ekipe pozitivno naravnani. Delo pregledajo, vendar se ne morejo "srati v komentarje" in skušati izbrati manjše od dveh zla - tukaj je seznam vprašanj, na katera je treba odgovoriti, nato pa bomo članek objavili.

Drug primer, o katerem je urednik Nature govoril šele pred mesecem dni, so Grazelovi sončni kolektorji. Zaradi izjemnega zanimanja za to temo v znanstveni javnosti (navsezadnje si še vedno želijo članek v Nature!), so morali uredniki izdelati poseben vprašalnik, v katerem morajo navesti veliko parametrov, zagotoviti kalibracije opreme, certifikate itd. za potrditev, da je metoda za merjenje učinkovitosti plošč v skladu z nekaterimi splošnimi načeli in standardi.

IN, tretjič, ko spet slišiš za čudežno cepivo, ki osvaja vse in vsakogar, nova zgodba o Jobsu v krilu, novih baterijah ali nevarnostih/koristih GSO ali sevanja pametnih telefonov, sploh če so ga promovirali rumeni pisci iz novinarstva, potem ravnajte z razumevanjem in ne sklepajte prehitro. Počakajte na potrditev rezultatov drugih skupin znanstvenikov, kopičenje niza in vzorcev podatkov.

PS: Članek je bil preveden in napisan na hitro, o vseh opaženih napakah in netočnostih pišite v LAN.