A tudományos forradalom elmélete

A jelenlegi tudományos reformmozgalomról szóló új szociológiai kézirat egy elítélő mondattal zárul: „A metatudomány eszeveszetten produktív, elméletet nélkülöző empirikus terület volt. Utolsó kérdés: meddig tarthat ez? Amint azt másutt áttekintettem, úgy gondolom, hogy Peterson és Panofsky néhány kritikát vet fel a metatudományról, mint területről, különös tekintettel arra az elképzelésre, hogy bármilyen ajánlás alkalmazható lenne az összes tudományra (szemben a társadalomtudomány és az orvostudomány csak széles körével). Igazuk van?

Először vegye figyelembe a dolgozó pszichológusok szokásos mintáját, amely valamilyen témát próbál megérteni. Gyakran azzal kezdik, hogy kutatási cikkeket tesznek közzé, amelyek jelentenek egy hatást - amelyet tényként gondolhatunk két dolog kapcsolatára. Például a mosolyizmok aktiválása jobb kedvre derít. Ezeket a tényeket aztán szélesebb körű elméleti építési kísérletek alátámasztására használják. Például megértjük a kirekesztés működését, ha megnézzük mindazokat a tényeket, amelyekről a kirekesztés befolyásolni tudta.

Ha sok pszichológiai cikket olvas, azt találja, hogy általában ilyen formában vannak. Arra lehet következtetni, hogy a pszichológusok megpróbálnak tényeket megállapítani és megérteni, hogy ezek a tények hogyan illeszkednek egymáshoz. Ezeket a pszichológusok nem megfogalmazott céljainak fogom nevezni. A jelenlegi reformmozgalom, mivel alulról felfelé jött a fiatal dolgozó pszichológusok sorából, megérti ezeket a kimondatlan célokat. Ahelyett, hogy előírná, hogy a pszichológusoknak milyen célokat kell kitűzniük, a reformmozgalom ezeket a megadottnak tekinti. Ezután megvizsgálja, hogy a kutatási gyakorlatok mennyire sikeresen szolgálják ezeket a célokat.

Ez az értékelés gyakran a leggyakoribb kísérleti tervekre alkalmazott statisztikákon alapul. A pszichológusok szerint csak 5% -os hamis pozitív arányú teszteket alkalmaznak, ami azt sugallja, hogy az általuk megállapított tények csak az esetek 5% -ában tévesek. Mégis a Hamis pozitív pszichológia tanulmány - szimulációk és a kutatók által összegyűjtött valós adatok felhasználásával - bebizonyította, hogy az általánosan használt statisztikai „csípések” kombinációja 60% feletti téves pozitív arányhoz vezethet. Az idő több mint felénél a kutatók eredménytelen kísérleteket végezhetnek, de mégis beszámolhatnak arról, hogy találtak egyet. Ahogyan a cikk szerzői később megfogalmazták, „azt hittük, hogy olyan, mint egy jawwalking, de inkább bankrablás”.

Az elmélet ebben az esetben az, hogy a kutatók a szokásos statisztikai módszereikkel igaz tényeket akarnak megállapítani a világról. A matematikai szimulációk azonban azt mutatják, hogy ezek a normál módszerek sok hibához vezetnek. Az elméletet azzal teszteljük, hogy kiderül, átdolgozzák-e a tanulmányokat anélkül, hogy lehetővé tennék az ilyen jellegű statisztikai változtatásokat - ehelyett pontosan a publikált szakirodalomban leírt receptet alkalmazzák -, hogy ezek a tények közül sok megbízhatatlannak bizonyul. 2015-ben az Open Science Collaboration megállapította, hogy 100 tanulmány esetében az elmélet helyesnek bizonyult. Az eredmények csak mintegy 37% -a replikálódott.

Számos kifogást emeltek ezzel a következtetéssel szemben, és kizárt alternatív magyarázatokat. Például egyes kutatók azt sugallták, hogy a vizsgálatokat végző speciális laboratóriumok miatt eltérések lehetnek a hatásméretekben. A Many Labs 2 projekt ezt próbálta megoldani, 28 azonos replikációs tanulmány lefuttatásával 125 különböző laboratóriumban. A különböző helyszíneken vizsgált hatásban nagyon csekély volt a változatosság.

Azok a kutatók, akik egyetemi hallgatókat vesznek igénybe a tanulmányokban, gyakran azt gondolják, hogy azok a hallgatók, akik félévente később jelentkeznek tanulmányokra, kevésbé megbízhatóak, mert nem figyelnek annyira a tanulmányi utasításokra. Talán ez befolyásolta a replikációt. A Many Labs 3 projekt foglalkozott ezzel, és megállapította, hogy amikor egy félévben egy személy jelentkezett, csekély hatása volt a pszichológiai hatásokra.

Egyes kutatók úgy vélik, hogy az eredmények működéséhez finom tényezőkre van szükség, amelyeket csak egy terület tapasztalt kutatói ismernek (és amelyekről az eredeti kéziratok nem számoltak be). A Many Labs 4 és 5 projekt egyaránt megvizsgálta ezt a kérdést azzal, hogy kutatócsoportok folytattak tanulmányokat szakértőkkel konzultáció nélkül és anélkül. Mindkét projekt eredményei azt mutatták, hogy a szakértői tanácsadáshoz való hozzáférésnek alig volt hatása arra, hogy az eredmény megismétlődött-e vagy sem.

A meta-tudósok új elméleti kifogásokat emelhettek a vizsgálat utolsó évtizede alatt.A pszichológusoknak valóban minden idejüket új effektusok megállapításával kell töltenie, vagy inkább körültekintően kell matematikai modelleket követnie, amelyek pontosan megmagyarázzák az egyik hatás működését? Aggódnunk kellene azért, hogy a megállapított hatások megbízhatóak-e, vagy inkább mérlegeljünk, hogy mérjük-e a fontos dolgokat? Meg kellene vizsgálnunk, hogy valóban vannak-e rejtett trükkök a tapasztalt kutatóknak a tanulmányok működéséhez, vagy pedig azt állítsuk-e, hogy a tanulmány működéséhez szükséges módszerek jelentésének elmulasztása tudományos műhiba?

A Nyílt Tudomány Központjának (COS) pszichológiára összpontosító metatudományi kutatócsoportja ahelyett, hogy a pszichológiai kutatás célkitűzései mellett vitatkozna, arra törekedett, hogy meghallgassa és tiszteletben tartsa a területükön dolgozó kutatók állításait, és tanulmányokat folytasson. amelyek értékelik ezeket az állításokat. A kutatási kérdések szervesen merültek fel, gyakran a kritikusok aggodalmainak figyelembevételével. Ez a munkasor azt bizonyítja, hogy (legalábbis a pszichológiában) a metatudományhoz elméleti átvezető vonal is vezet. Ez egy olyan megközelítés, amelyet ismernie kell a néprajzi kutatást végző antropológusoknak és szociológusoknak: Hallgassa meg, hogy egy közösség mit mond fontosnak, és kezelje ezt tanulmányozási tárgyként.

Mindenképpen van hely arra, hogy szélesebb körű kérdéseket tegyünk fel azzal kapcsolatban, hogy mi legyen a pszichológiai kutatás célja. Valójában úgy gondolom, hogy a tudományos reform következő hulláma valószínűleg ezekre a mélyebb kérdésekre fog összpontosulni. Érdemes megkérdőjelezni azt is, hogy a pszichológiából és az orvostudományból nyert meglátások mennyire terjednek ki más tudományokra. Mégis arra a következtetésre juthatunk, hogy a Metascience ateológiai (és ezért egy vonatszerencsétlenség felé tart) elveti több száz kutató munkáját, akik megpróbálják jobban megérteni és javítani saját tudományos közösségük munkáját.