Fingfûrészelés. Hiába viselt nyolc évig szürke öltönyt Obama? Mégsem segít, ha állásinterjú elõtt Superman-pózt veszünk fel? Nagy vita dúl a pszichológiában. Akár hisznek abban, hogy a pszichológia egy remek tudomány, amely érdekes dolgokat mond az emberrõl, akár távolról gyûlölik a kuruzslónak tûnõ pszichológusokat, van egy remek hírünk. Épp egymásnak esnek a terület kutatói. A helyzet nem súlyos, de érdekes nézni, ahogy folyóiratcikkekkel dobálják egymást a szakemberek.

A kérdés, amelyen összecsattantak, rendkívül akadémikus, de kihatással van a mi életünkre is. Több tudóscsapat vizsgálta, hogy a pszichológia tudományának nagy folyóirataiban publikált kutatási eredmények reprodukálhatóak-e. Erre azért van szükség, mert egy jelenség egyszeri megfigyelése nem elegendõ ahhoz, hogy messzemenõ következtetéseket vonjunk le.

Egy eset lehet véletlen, a körülmények szerencsés összejátszása, sõt akár mérési hiba is. És nem csak ezeken csúszhat el egy kísérlet. Philip Zimbardo híres börtönkísérletét például etikai és kísérlettervezési elvek mentén is támadják: az önkénteseket keresõ hirdetések egy részébe a börtönkísérlet szó is szerepelt, amire nem meglepõ módon kevésbé empatikus, agresszívebb, dominánsabb emberek jelentkeztek. A hibalehetõségek nagy száma miatt fontos idõnként ellenõrizni, hogy az nyilvánosságra hozott eredményeket más kutatócsoportok is tudják-e azonos körülmények mellett produkálni.
Fotó: Kobal / Steve Dietls
Stanford Prison Experiment, The (2105)

A börtönkísérletet feldolgozó 2015-ös film egy képkockája - képünk illusztráció
Hajlamosak túlozni

A mostani ügy az Open Science Collaboration (OSC) nevû kutatócsoportnak a Science folyóiratban megjelent publikációjával kezdõdött. A cikk azt állította, hogy a 2008 során a három legnagyobb folyóiratban publikált kísérletek közül kiválasztott száz kísérletbõl csak harminchatot sikerült ismét azonos eredményekkel elvégezni. Az újra elvégzett kísérletek ráadásul többnyire gyengébb hatást is mutattak. Úgy tûnt tehát, hogy a publikált tanulmányok szerzõi nagyobbat mondtak, mint amit valójában meg tudtak mérni.

A cikk szerint a száz kísérlet megtervezése során az OSC tagjai megkeresték az eredeti kutatócsoportokat, elkértek minden olyan anyagot, amely az ismétlést segítheti. Majd pedig a kísérleti tervüket is leokéztatták az eredeti kutatócsoporttal. Arra számítottak, hogy az esetek 89 százalékában lesz sikeres a megismételt vizsgálat, még úgy is, hogy tudták, a tudományos publikációk rendszere az újdonságokat, a pozitív kimenetelû kísérleteket és az erõsebb állításokat helyezi elõtérbe. A 270 szerzõ által aláírt cikk arra jutott, hogy a pszichológiának nem ártanának a gyakoribb replikációs vizsgálatok, a folyóiratok pedig úgy segíthetnék ezt, ha a megismételt kísérletek és a hamisnak bizonyuló hipotézisek nagyobb eséllyel kerülnének be a lapokba.
Fotó: BSIP / ASTIER
COGNITIVE EVALUATION, DEAF PERSON

Képünk illusztráció
Hogy lett ebbõl botrány?

Az Open Science Collaboration Science-beli publikációja után megszaporodtak azok az írások, amelyek a pszichológia válságáról szóltak. A cikkekben nem csak azok a megcáfolt kísérletek kerültek elõ, amelyeket az OSC kutatói vizsgáltak felül, hanem néhány sokkal kínosabb blama is.

Hallottak például arról, hogy vannak olyan testtartások, amelyek növelik a sikerességet, az optimizmust, az önbizalmat? Ráadásul nemcsak bemondásra teszik ezt a pózok, hanem fiziológiai és viselkedésbeli változásokat is okozva. Ha esetleg elkerülte önöket, akkor a lenti húsz perces TED-elõadásban Amy Cuddy, a Harvard egyetem pszichológusa elmondja, hogy egy jó Superman- vagy Wonder Woman-póz hogyan hangolhatja jobb teljesítményre a szervezetüket (PDF). Arról viszont elõre szólok, hogy nagyon ne éljék bele magukat a gondolatba.
Attól, hogy valami elhangzik a TED-en, még nem feltétlenül igaz

A Harvard kutatóinak 2010-es eredményét ugyanis egy nagyobb mintán végzett, 2015-ös vizsgálat egyáltalán nem tudta reprodukálni (PDF). A pózolás addigra azonban – bocsássanak meg a képzavarért – kibújt a palackból. A TED-elõadást milliók látták, életmód- és karriertanácsadók eszköztárába került be, ha nem vigyáznak, a Facebookon is szembejön egy csinos, naplementés motivációs képre írva.

A 2015-ös ismételt vizsgálat szerencsére nem a módszer teljes hatástalanságát mutatta ki, így nem kell felhagyniuk a reggeli tükör elõtti szupermenkedéssel, ha esetleg rászoktak. A válaszadók szerint a pózoktól valóban erõsebbnek, határozottabbnak érezték magukat – ez az önbevallás, itt olvashatnak arról, miért torzítanak az ilyen kutatások –, de az eredeti tanulmány szerint a hormonszintben és a viselkedésben nem jelentkeztek azok a változások, amelyeket a Cuddy vezette csoport megfigyelt.
Fáradt vagyok most ezt eldönteni

Az életjavító tréningek anyagává váló egokimerülés (ego depletion) és döntési fáradság szintén olyan elmélet, amelyet egy hamarosan megjelenõ vizsgálat meg fog kérdõjelezni. Pedig erre az 1998 óta kutatott jelenségre építve csinálnak komikus dolgokat a világ vezetõi. A Washington Egyetemen kialakított elmélet szerint az ember minden napnak meghatározott mennyiségû döntési energiával és akaraterõvel vág neki. Ha ezt olyan piszlicsáré dolgokra használjuk fel, mint a megfelelõ póló vagy ing kiválasztása, akkor lehet, hogy a világ megjavítására már nem marad erõ.

Az eredeti kísérlet eleve embertelen volt azok számára, akik egy kicsit is szeretnek élni. Éhes diákok két csoportját várakoztatták egy teszt kitöltése elõtt. Mindkét csoport elõtt kétfajta rágcsálnivaló volt: retek és csokis süti. Az egyik csapat csak retket ehetett – bár volt elõttük süti is –, míg a másik csapatot arra kérték, hogy csak süteményt egyen. Megfigyelõ nem volt a szobában – ellenben kétirányú tükör igen –, így a retek evésre ítélt résztvevõknek meg kellett magukkal küzdeni, hogy betartják-e a parancsot vagy megdézsmálják a süteményt. Az akaraterõt felõrlõ várakozást követõ megoldhatatlanul nehéz teszttel a sütit evõk átlagosan 19 perccel tovább tudtak megküzdeni. A pszichológusok azt a következtetést vonták le, hogy az adott mennyiségû akaraterõbõl sokat fordítottak arra az elsõ csoport tagjai, hogy ne egyenek süteményt, hiszen ezt kérték tõlük.
Az akaraterõ kutatását elindító Roy Baumeister is részt vett a döntési fáradság újbóli vizsgálatában

A nagy visszhangot kapó kutatásnak voltak meglepõ következményei: Barack Obama legendásan nem variál a ruházatán, vagy kék vagy szürke öltönyt visel. Sõt a Vanity Fairnek adott interjújában azt is elmondta, hogy a reggelit sem gondolja túl. Annyi döntés vár rá nap közben, hogy nem koptatja az akaraterejét a ruházkodással vagy az étkezéssel. Mark Zuckerberg, aki ugyan nem atomhatalom, de a felhasználószámot nézve a világ egyik legnépesebb közösségének vezetõje, szintén spórol a döntési energiáival, csak õ kétféle öltöny helyett egy fajta szürke pólóból választ.

Az egokimerülés egy metaanalízist (több kutatási eredmény összesített vizsgálata) túlélt, a 2010-ig a témában született több száz tanulmányt kiértékelõ tudósok valósnak találták a jelenséget. Egy friss, megjelenés elõtt álló kísérlet azonban, amelyet kétezer fõ részvételével húsz laboratóriumban végeztek el, egyszerûen nem tudta kimutatni a jelenséget. A kutatási eredményeket a Személyiség- és Szociálpszichológiai Társaság éves konferenciáján már bemutatták, de még nem látszik milyen következményei lesznek: nem egy tanulmányról bizonyosodott be, hogy gond van vele, hanem egy teljes kutatási területrõl. Ha az új kísérletben nem találnak valami óriási hibát, akkor még az is kiderülhet, hogy Mark Zuckerberg öltözhetne érdekesebben, mert a reggeli döntések nem jelentenek veszélyt a vezetõként nyújtott teljesítményére.
Hol a baj?

A valójában nem igaz alapigazságokat lehetne még sorolni, ha példákra vágynak még, az 50 pszichológiai tévhit címû könyv ilyeneket taglal. Annak pedig szintén hosszú irodalma van, mi vezethet a rossz tanulmányokhoz. Az egyik a p-hackelés, ami gyakorlatilag egy kreatív csalási forma: a kutatók csak addig gyûjtenek adatokat, amíg el nem érik azt a szintet, amelynél már kijelenthetik, hogy a megfigyelt jelenség statisztikai valószínûsége jelentõs. Ez olyan, mintha azt akarnánk megmérni, hogy egy villamos utasainak mekkora az átlagos magassága, és amikor a nekünk tetszõ érték elõször kijönne a második ajtóhoz elérve, abbahagynánk a méricskélést. A p-hackelés azért különösen veszélyes, mert az adott terület metaanalízise sem tud vele mit kezdeni: sok rossz adatból a varázslat sem csinál jót.

A folyóiratok publikációs gyakorlata, az újdonságok elõtérbe helyezése tovább torzítja a képet.
Ha ez ennyire egyértelmû, miért van mégis vita?

Az Open Science Collaboration száz kísérletet feldolgozó tanulmányára és az azt kísérõ sajtófigyelemre nagyon hevesen reagált Daniel Gilbert, a Harvard egyetem neves pszichológusa. A Twitteren egyenesen „szégyentelen kis zsarnokoknak” nevezte a tanulmány szerzõit. Ennél természetesen részletesebben is kifejtette a kifogásait. A három társával együtt írt, a Science-ben publikált válaszában az OSC által elkövetett statisztikai és kísérlettervezési hibákra hívja fel a figyelmet. Olyanokra, mint hogy egy amerikai sztereotípiákat vizsgáló kísérletet nem lehet megfelelõen elvégezni egy olasz laboratóriumban, vagy hogy az egyetemre tömegközlekedõ diákokkal végzett felmérésnek nem tökéletes replikációja az a kísérlet, amelyben nem tömegközlekedõ diákoknak teszik fel ugyanazokat a kérdéseket.
Úgyis videónézõs nap van, itt egy Gilbert elõadás is

Azok a kísérletek pedig, ahol az eredeti kutatócsoporttal egyeztettek az OSC tagjai, sokkal sikeresebbek voltak. Ezeknél az esetek hatvan százalékában a megismételt kísérletben azonos hatást mutattak ki, míg az eredeti kutatócsoport megkeresése nélkül végzett vizsgálatoknál ez az arány csak 15 százalék volt. Gilbert szerint az OSC kutatásánál elõremutatóbb a Many Labs nevû replikációs projekt, amely több ismétlést is végzett, mint az Open Science és lényegesen jobb (85 százalékos) replikációt volt képes elérni.

A válaszcikk azzal a megállapítással zárul, hogy a pszichológia egyáltalán nem küld megismételhetõségi válsággal. A cikk publikálásáról szóló blogbejegyzésben azonban még odaszúr egyszer a tudományos konkurenciájának Gilbert, és reményét fejezi ki, hogy a saját eredményeiket is olyan lelkesen vizsgálják majd felül a harvardi kritika nyomán, mint ahogy másokéval tették. Ha valódi pofonok nem is csattantak el, valódi tudományos öv alatti ütések ezek. Egészen biztos, hogy nem maradnak válasz nélkül. A vita végén pedig egyértelmûbb, jobban körülírt, átláthatóbb kísérletek és publikációk jelenhetnek meg.
Link