Psihološke študije so bile v več kot 50 % primerov napačne

2024 Avtor: Seth Attwood | [email protected]. Nazadnje spremenjeno: 2023-12-16 16:16

Obstajajo "močne drže", ki krepijo samozavest in zmanjšujejo stresne hormone. Ko ljudje držijo skodelico tople pijače v rokah, postanejo prijaznejši do tistih okoli sebe. Moč volje je vir, ki ga porabimo, ko se upremo skušnjavi. Sposobnost odlaganja nagrade določa otrokov prihodnji uspeh.

Te izjave so si med seboj zelo podobne: za njimi so znane psihološke raziskave, poljudnoznanstvene uspešnice, kolumne v popularnih revijah in TED pogovori.

Skupna jim je še ena stvar: vsi so se izkazali za napačne.

Kriza ponovljivosti je postavila pod vprašaj celotna področja znanosti. Številni rezultati, ki so bili široko citirani v medijih, se zdaj štejejo za pretirane ali napačne. Ko so znanstveniki poskušali ponoviti tako klasične kot nedavne psihološke eksperimente, so bili rezultati presenetljivo dosledni, približno polovica primerov je bila uspešna, druga polovica pa neuspešnih.

Kriza je končno postala očitna leta 2015, ko so znanstveniki pod vodstvom Briana Noseka preverili 100 psiholoških študij. Začetne rezultate so lahko dosegli le v 36 primerih. Glavni urednik Lanceta Richard Horton je kmalu izjavil:

»Obtožbe zoper znanost so precej preproste: vsaj polovica znanstvene literature je preprosto napačna. Znanost se je zaradi študij z majhnim vzorcem, skopim učinkom in napačnimi analizami ter obsedenosti z modnimi trendi dvomljivega pomena zasukala v nevednost.

Ponovljivost je ena ključnih zahtev za znanstveno spoznanje. Boljši kot je rezultat reproduciran, bolj zanesljiv je - to je edini način, da ločite resnične vzorce od preprostih naključij

Toda izkazalo se je, da ta zahteva ni vedno izpolnjena.

Kriza se je začela z medicino, najbolj pa je prizadela psihologijo. Poleti 2018 so znanstveniki poskušali ponoviti izbor psiholoških študij, objavljenih v Science and Nature, najprestižnejših znanstvenih revijah na svetu. Od 21 poskusov je bilo potrjenih le 13 – in tudi v teh primerih so bili prvotni rezultati pretirani za približno 50 %.

Pogosto testu obnovljivosti ne uspejo tiste študije, ki so se v medijih množično razmnoževale in so uspele vplivati na javno zavest. Na primer, dela, ki jih iskalniki poslabšajo spomin, branje leposlovja pa razvija sposobnost empatije. Če ponavljajoči poskusi ne uspejo, to ne pomeni, da so prvotne hipoteze brez vrednosti. Toda za njihovo dokazovanje so zdaj potrebne boljše raziskave.

Kako napovedati prihodnost s statistiko

Leta 2011 je slavni ameriški psiholog Daryl Boehm objavil članek, ki je dokazal možnost jasnovidnosti. Ta sklep ni bil plod njegove burne domišljije, ampak je temeljil na desetletjih raziskav, v katerih je sodelovalo na stotine ljudi. Marsikdo je sumil, da se je Boehm odločil urediti nekaj takega kot Sokalova prevara in psihologijo razkrinkati z lažnim člankom z namerno absurdnimi sklepi. Toda po vseh metodoloških merilih je bil članek zelo prepričljiv.

V enem izmed Behmovih eksperimentov sta bila pred udeležence postavljena dva zaslona – morali so uganiti, za katero sliko se skriva. Slika je bila ustvarjena naključno takoj po opravljeni izbiri. Če bi udeleženci opravili dobro delo, bi to pomenilo, da lahko nekako predvidevajo prihodnost. Eksperiment je uporabil dve vrsti slik: nevtralne in pornografske.

Boehm je predlagal, da če šesti čut obstaja, ima verjetno starodavni evolucijski izvor. Če je tako, potem je bolj verjetno, da je uglašeno z našimi najstarejšimi potrebami in željami

Udeleženci so ugibali pornografske slike v 53 % časa – nekoliko pogosteje, kot bi morali, če bi bile le naključje. Glede na veliko število eksperimentov bi lahko Boehm trdil, da predvidevanje obstaja.

Kasneje so strokovnjaki odkrili, da je pri analizi rezultatov uporabil ne povsem pravilne metode. Rezultat raziskave se praviloma šteje za zanesljiv, če verjetnost, da je bil pridobljen po naključju, ne presega 5%. Vendar obstaja veliko načinov za zmanjšanje te vrednosti na zahtevano raven: spremenite začetne parametre analize, dodajte ali odstranite zahtevano število primerov iz vzorca, uporabite uspešnejše hipoteze po zbiranju podatkov.

Težava je v tem, da ni samo Boehm, ampak tudi številni drugi znanstveniki uporabljali iste tehnike. Glede na raziskavo iz leta 2011 je skoraj polovica psihologov to priznala

Ko je izšel jasnovidni članek, so družboslovci Joseph Simmons, Leaf Nelson in Uri Simonson ugotovili, da se znanost odpravlja v lastno propad. Zgradili so več računalniških modelov in ugotovili, da lahko z uporabo dokaj standardnih statističnih tehnik večkrat povečate raven lažno pozitivnih rezultatov. To pomeni, da formalno znanstvene metode zlahka pripeljejo do popolnoma absurdnih zaključkov.

Da bi to ponazorili, so znanstveniki izvedli poskus, ki je potrdil, da poslušanje pesmi "Ko sem štiriinšestdeset" naredi poslušalca leto in pol mlajšega.

»Vsi so vedeli, da je uporaba takšnih tehnik napačna, vendar so menili, da je to kršitev po svojem pomenu – kot prečkanje ceste na napačnem mestu. Izkazalo se je, da je bolj podobno ropu banke, «je zaključil Simmons.

Kako razlikovati slabe raziskave od dobrih

Kmalu je postalo jasno, da vprašanja ponovljivosti niso omejena na psihologijo. Pri raziskavah raka so znanstveni dokazi podprti v 10-25 % primerov. V ekonomiji 7 od 18 laboratorijskih poskusov ni bilo mogoče ponoviti. Tudi raziskave umetne inteligence kažejo znake krize.

A zdi se, da izguba vere v znanost še vedno ni vredno. Znanstveniki so že pripravili več načinov, ki so močno izboljšali zanesljivost in kakovost novih raziskav

Pred nekaj leti skoraj nihče ni objavil rezultatov ponovljenih poskusov, tudi če so bili izvedeni. To ni bilo sprejeto, ni prineslo štipendij in ni prispevalo k uspešni znanstveni karieri. Glede na raziskavo Nature je več kot 70 % psihologov poskušalo in jim ni uspelo reproducirati raziskav drugih ljudi, približno polovica ni mogla ponoviti svojih in skoraj nihče ni poskušal objaviti teh rezultatov.

Ko se je pojavila kriza ponovljivosti, se je marsikaj spremenilo. Ponavljajoče se raziskave so postopoma postale običajne; eksperimentalni podatki so se začeli vse pogosteje objavljati v javnosti; revije so začele objavljati negativne rezultate in beležiti celoten načrt raziskav, še preden so se začele.

Raziskave so postale obsežnejše - vzorec 30–40 ljudi, kar je bilo v psihologiji precej standardno, zdaj ustreza zelo malo ljudem. Velike mednarodne organizacije – kot je Psychological Science Accelerator – testirajo iste hipoteze v več laboratorijih po vsem svetu.

Pred preverjanjem člankov iz Narave in znanosti, o katerih smo pisali na začetku, so znanstvenike prosili, da stavijo na nagradne igre. Napovedati so morali, katera raziskava bo prestala test in katera ne. Na splošno so bile cene zelo točne. "To pomeni, prvič, da znanstvena skupnost lahko napove, katera dela se bodo lahko ponovila, in drugič, da nemožnost ponovitve študije ni bila zgolj naključje," pravijo organizatorji eksperimenta.

Znanstveniki na splošno dobro razlikujejo zanesljive od nezanesljivih raziskav – to je dobra novica. Zdaj strokovnjaki Centra za odprto znanost skupaj z agencijo DARPA poskušajo ustvariti algoritem, ki bo enako nalogo opravil brez človekovega posredovanja.

Vsako leto je objavljenih preveč člankov, da bi lahko ročno ponovno preverili celo majhen del. Če se bo umetna inteligenca lotila posla, bo vse veliko lažje.

Umetna inteligenca se je že v prvih testih v 80% primerov uspešno spopadla z napovedmi.

Kaj naredi raziskave najpogosteje nezanesljive? Majhni vzorci, nedoslednosti v številkah, prelepa potrditev hipotez. In tudi - želja po občutkih in preveč preprostih odgovorih na težka vprašanja.

Predobro, da bi bilo res

Najlažji način za ustvarjanje senzacionalne raziskave je prevara. Slavni socialni psiholog Diederik Stapel je v več deset znanstvenih člankih uporabil izmišljene podatke. Stapelove raziskave so se z veliko hitrostjo širile po časopisih in revijah, prejel je več prestižnih znanstvenih nagrad, objavljal je v Science in veljal za enega največjih strokovnjakov na svojem področju.

Nekoč se je izkazalo, da Stapel dolgo časa sploh ni izvajal raziskav, ampak je preprosto izumil podatke in jih dal študentom v analizo.

To je v znanosti zelo redko. Veliko pogosteje se glasne, a napačne izjave pojavljajo iz drugih razlogov. Ljudje obupno iščejo preproste, razumljive in učinkovite odgovore na vznemirljiva vprašanja. Lahko vas zelo enostavno zamika, da mislite, da imate te odgovore, tudi če jih res nimate. Prizadevanje za preprostostjo in gotovostjo je eden od glavnih razlogov, zakaj številne študije ne preizkušajo ponovljivosti. Tukaj je nekaj pomembnih primerov.

Eksperiment z marshmallowom

V poskusu so otroci morali izbrati med eno majhno nagrado – na primer marshmallows –, ki bi jo lahko prejeli takoj, in dvojno nagrado, če bi lahko malo počakali. Kasneje se je izkazalo, da so otroci, ki so prejeli drugo nagrado, postali uspešnejši v odrasli dobi. Študij je postal zelo priljubljen in vplival na nekatere šolske kurikule.

V letu 2018 so poskus ponovili na širšem vzorcu. Izkazalo se je, da je veliko pomembnejši dejavnik bogastvo v družini, od katerega je odvisna tudi stopnja samoobvladovanja.

"Poze moči" in "Poze šibkosti"

Udeleženci poskusa so dve minuti zavzeli eno od dveh poz: naslonili so se na stol in vrgli noge na mizo (»poza moči«) ali prekrižali roke na prsih (»poza šibkosti«). Posledično so se udeleženci iz prve skupine počutili bolj samozavestne in so se pogosteje strinjale s tveganjem pri igrah na srečo. Tisti, ki so sedeli v močnem položaju, so povečali raven testosterona, tisti, ki so sedeli v šibkem položaju, pa so povečali kortizol. V ponavljajočih se poskusih je bil reproduciran le en učinek: "države moči" so udeležencem pomagale, da so se počutile bolj samozavestne, niso pa spremenile njihovega vedenja ali hormonskih parametrov.

Zaradi asociacije na starost se premikate počasneje

Udeleženci eksperimenta so morali rešiti več ugank. Če so bile vanje vstavljene besede, ki se povezujejo s starostjo – »pozabljiv«, »starejši«, »osamljen« –, so udeleženci počasneje zapuščali prostor.

V zadnjih preskušanjih je bil poskus uspešno reproduciran le v enem primeru: če so eksperimentatorji sami vedeli, da so udeleženci v testih namigovali na starost. Sam učinek je ostal, a razlogi so bili že drugi.

Topli predmeti naredijo ljudi prijaznejše

Udeleženci eksperimenta so lahko za kratek čas držali skodelico tople ali hladne kave, nato pa so jih prosili, da s kratkim opisom ocenijo osebnost osebe. Udeleženci, ki so držali skodelico vroče kave, so osebo ocenili kot bolj všečno. V drugem poskusu so udeleženci dobili predmet v toplem ali hladnem paketu in nato prosili, naj ga obdržijo ali dajo prijatelju. Če je bil predmet zavit v topel paket, so udeleženci bolj verjetno izbrali drugo možnost. Ponavljajoči poskusi s širšim vzorcem niso dali takšnih rezultatov. Videti je, da vas topla oblačila ne bodo naredila altruista.

Moč volje je izčrpana, ko se upremo skušnjavam

Pred udeležence v poskusu sta bila postavljena dva krožnika - s piškoti in redkvicami. V prvi skupini so udeleženci smeli jesti piškote, v drugi pa le redkev. Nato je vsak udeleženec moral rešiti nemogočo uganko. Udeleženci, ki so jedli le redkev v prvem delu poskusa, so odpovedali veliko prej kot drugi. V ponovljenih poskusih rezultati niso bili potrjeni.

V nekaterih primerih se sposobnost samonadzora ni izčrpala, ampak se je sčasoma celo okrepila. Mnogi psihologi zdaj menijo, da je koncept "moči volje" preveč poenostavljen.

V svetovni psihologiji je bilo že veliko narejenega, da bi bile raziskave bolj zanesljive in ponovljive. V Rusiji tega problema še niso razumeli.

"V ruski psihologiji se problemi krize ukvarjajo predvsem z znanstveno mladino, ki je v veliki meri usmerjena v zahodno znanost," je za Knife povedal Ivan Ivanchey, izredni profesor na RANEPA. - Nadzor nad kakovostjo publikacij v ruščini na splošno ni zelo visok. Revije le redko zavračajo članke, zato je objavljenih veliko nekvalitetnih raziskav. Pogosto se uporabljajo majhni vzorci, kar tudi zmanjša verjetnost uspešne reprodukcije. Obstaja sum, da se lahko, če se resno lotimo vprašanja ponovljivosti del v ruskem jeziku, odkrijejo številne težave. Toda nihče ni neposredno vpleten v to."

Januarja 2019 je postalo znano, da bo ruska vlada bistveno razširila zahteve za znanstvenike glede števila objav: minimalno število objavljenih člankov na leto bi se moralo povečati za 30-50%.

Znanstveniki iz vplivnega akademskega "Kluba 1. julij" so pobudo kritizirali: "Naloga znanosti ni izdelati največjega števila publikacij, ampak raziskovati vesolje in izkoristiti znanje, pridobljeno za človeštvo." Najverjetneje bodo nove zahteve le povečale obseg problema.

Zgodba o krizi ponovljivosti ni zgodba o prihajajoči apokalipsi in invaziji barbarov. Če do krize ne bi prišlo, bi bilo vse veliko huje: še vedno bi se sklicevali na napačne raziskave s popolnim zaupanjem, da poznamo resnico. Morda se čas drznih naslovov, kot je "britanski znanstveniki so dokazali", bliža koncu. Toda govorice, da je znanost mrtva, je treba šteti za nekoliko pretirane.