Cercetarea Emoțiilor – Un Miraj Empiric?

Notă Introductivă

Există, curent, o „modă”, în a promova psihoeducația, anume acel aspect ce se referă la a informa cetățenii în legătură cu rezultatele cercetărilor din psihologie, pentru a le optimiza procesul de luare a deciziilor. Ce se întâmplă, însă, în momentul în care rezultatele cercetărilor respective sunt amplificate artificial, prin practici chestionabile de cercetare? Vom încerca să aflăm, împreună, răspunsul la această întrebare, prin prisma analizei descrise în următoarelor capitole.

Înainte de a începe textul propriu-zis, este necesară următoarea notă: Acest text va avea un caracter mai degrabă tehnic, orientat către un stil academic de redactare, făcând apel, majoritar, la jargon, pentru descrierea și caracterizarea anumitor tematici și subtematici abordate. Pentru o viziune de ansamblu, în termeni uzuali, mai puțin încărcați tehnic, se pot parcurge cu o mai mare ușurință părțile de Introducere și Discuții Generale ale articolului de față.

Introducere

Recent, articolul publicat de către Cristea și colaboratorii săi (2021) susține că există șanse ca literatura des citată, considerată „importantă”, în accepția științifică a psihologiei, să raporteze mărimi ale efectelor exagerat de ridicate, în studiile observaționale și experimentale.

Firește, pentru a putea testa o astfel de aserțiune, fără a se apela la analize secundare de date, ar fi nevoie de zeci, poate chiar sute, de replicări independente ale unor articole fundamentale, din cadrul cercetării emoțiilor, precum în cazul eforturilor echipei Open Science Collaboration (2015).

Un astfel de scenariu idealist întâlnește, însă, testul realității, în momentul în care se observă faptul că s-ar putea să nu existe resursele necesare derulării unor astfel de replicări (e.g., temporale, financiare, etc.), în cadrul unor contexte ecologice, „de laborator”.

În ciuda celor anterior menționate, există, însă, modalități statistice de a testa replicabilitatea cercetărilor empirice dintr-un anumit domeniu al cunoașterii (e.g., p-curve, Simonsohn et al., 2013; p-uniform, van Assen et al., 2015; Z-Curve, Brunner & Schimmack, 2020). Fiecare dintre aceste modalități vine, la pachet, cu avantaje și dezavantaje de ordin metodologic. Astfel, pentru consecvență și conveniență, se va utiliza o modalitate ce nu necesită pregătiri dificil de derulat, anume Z-Curve.

Metodologie

Procedura Z-Curve reprezintă, simplist, o modalitate empirică de detectare a magnitudinii erorii de publicare. Această tehnică scanează și colectează testele statistice F, t, chi2, z și r, alături de gradele de libertate specifice acestora și (re)calculează valorile p, pe care, ulterior, le transformă în scoruri z (pentru a le putea distribui normal/uniform; Schimmack, 2021b). Ulterior, algoritmul de calcul ia în considerare valorile z extreme (i.e., acestea sunt valori p convertite, ce se apropie de sau excedează pragul, considerat standard, de 0.05 uni- sau bilateral). În baza rezultatelor introduse în analiză, algoritmul calculează procentajul de rezultate publicate ce sunt semnificative statistic și puterea medie a tuturor studiilor incluse în analiză, pentru a le putea compara, respectiv pentru a putea calcula rata de replicabilitate așteptată.

Astfel, acest procedeu statistic ar putea fi considerat un audit de replicare, nemaifiind nevoie de sute de studii independente, pentru a putea verifica similitudinea sau veracitatea rezultatelor. În acest sens, pot fi luate chiar rezultatele inițiale (i.e., o formă de analiză statistică secundară a datelor) și, în funcție de acestea, poate fi judecată valoarea empirică a replicabilității studiilor selectate, în termeni exploratori.

Pentru demersul de față, a fost folosită aplicația Shiny Meta Yourself (https://hubertplisiecki.shinyapps.io/meta_yourself/), pentru a selecta 100 de articole din biblioteca PLoS – Public Library of Science, cu ajutorul cheii de căutare „emotion research”. Ulterior, aplicația Shiny s-a ocupat de întregul algoritm de calcul, specific procedurii statistice Z-Curve. Așadar, procesul poate fi reprodus integral prin simpla introducere a cheii de căutare utilizate în aplicația Shiny.

Rezultate

Ulterior analizelor efectuate, se pot observa, conform figurii de la copertă, următoarele:

• 75% rată de descoperire observată (engl., ODR – observed discovery rate; procentajul de rezultate publicate ce sunt semnificative statistic).
• 34% rată de descoperire așteptată (engl., EDR – expected discovery rate; puterea medie a tuturor studiilor incluse în analiză).
• Există șanse ca 41% (i.e., diferența dintre cele două tipuri de rate de descoperire) dintre rezultatele analizate să fi fost obținute cu ajutorul practicilor chestionabile de cercetare (e.g., p-hacking; pentru mai multe detalii, vezi Head et al., 2015), în momentul în care valoarea ODR excedează limitele intervalului de încredere specific valorii EDR (Schimmack, 2021a).
• 75% rata de replicabilitate – În acord cu articolul lui Cristea și al colaboratorilor săi (2021), ce sugerează o supraraportare a mărimilor efectelor în cadrul literaturii „importante” privind cercetarea emoțiilor.

Discuții Metodologice

Astfel de discuții se centrează, în general, pe limitările de sorginte metodologică, specifice abordărilor din cadrul articolelor empirice. Precum orice demers de cercetare empirică, inclusiv articolul de față prezintă limitări. Acestea vor fi listate, în cele ce urmează.

O primă limitare este selectarea aleatoare a celor 100 de articole din biblioteca PLoS, deoarece nu se cunoaște reprezentativitatea sau generalizabilitatea rezultatelor, raportată la baze de date precum Scopus sau Web of Science. Aceste baze au fost menționate datorită faptului că ar putea reprezenta surse de „autoritate științifică”, pentru anumite persoane ce se ghidează în funcție de indicatorii scientometrici autohtoni de discriminare a zonelor „galbenă” (i.e., articole indexate în baze de date, BDI) și „roșie” (i.e., articole indexate în Web of Science, ISI).

O altă limitare, poate chiar cea mai importantă, este modalitatea automată de extragere a datelor din cadrul articolelor. Rezultatele codate nu sunt verificate și introduse manual, existând, astfel, posibilitatea raportării redundante sau selective a rezultatelor. Ba chiar mai mult, s-ar putea ca o astfel de detecție să fie „victima” așa-numitului efect de sertar (engl., file-drawer effect; pe scurt, imposibilitatea de a detecta rezultate ce au fost calculate, dar nu și raportate; pentru mai multe detalii, vezi Rosenthal, 1979). În privința ultimului argument, însă, procedura Z-Curve, în versiunea întreagă, nu în cadrul acestei aplicații, utilizează o corecție statistică pentru efectul de sertar.

Nu în ultimul rând, contextul unei astfel de abordări metodologice este, mai degrabă, de sorginte exploratorie, în detrimentul abordărilor pur confirmatorii, preferate în discuțiile ce țin de cercetările empirice. Astfel, ne putem forma doar o idee despre ce presupune, de fapt, amplificarea artificială a mărimilor efectelor, dar nu putem susține cu certitudine faptul că o astfel de realitate este marcată de o descoperire științifică „revoluționară” (i.e., argument ce ar trebui să se aplice la majoritatea, dacă nu chiar la toate, cercetările cu caracter științific din sfera psihologiei).

Discuții Generale

O idee centrală, demnă de înțeles, din întregul contextul generat de discuțiile despre așa-numita „criză a replicării”, este aceea conform căreia cercetările de până în prezent rămân, în continuare, utile. Acestea nu ar trebui să fie judecate în funcție de etichete lingvistice precum „bune” sau „rele”, o astfel de polarizare nefiind un real ajutor la adresa metodologiei critice specifice științei.

Astfel, pledoaria se poate centra pe a ne dezvolta, adițional, umilința intelectuală și maturitatea necesară evaluării critice a dovezilor, chiar și din literatura de specialitate ce ar putea părea, pe alocuri, „autoritară”; la o adică, se poate întâmpla „și la case mai mari”.

Unul dintre punctele-cheie ale acestui articol se referă la a sista promovarea reductivă a psihoeducației, bazându-ne, efectiv, pe rezultatele majoritar amplificate artificial, din sfera emoțiilor. Cu alte cuvinte, în momentul în care dorim să prezentăm studii recente, din domeniul emoțiilor, nu ar trebui să ne limităm la valoarea academică a lucrării, ci la robustețea metodologică a acesteia, în contrast cu exacerbările stilistice des întâlnite, de tipul „un nou studiu demonstrează că…”.

Ce putem înțelege, per total, așadar, este că „psihologia științifică” are de avansat, în ceea ce privește aspecte dezirabile precum credibilitatea sau transparența (i.e., cu ajutorul practicilor din știința deschisă, anume: preînregistrări, date și materiale valabile public, cu licențe deschise de distribuire, etc). Astfel de atitudini, de „deschidere” a științei, în domeniul psihologiei (i.e., acesta fiind doar unul dintre numeroasele exemple), ar putea contribui la optimizarea comunicării științifice deja existente în cadrul acestuia (pentru mai multe detalii, vezi Freiling et al., 2021).

Referințe Bibliografice

Brunner, J., & Schimmack, U. (2020). Estimating population mean power under conditions of heterogeneity and selection for significance. Meta-Psychology, 4. https://doi.org/10.15626/MP.2018.874

Cristea, I. A., Georgescu, R., & Ioannidis, J. P. A. (2021). Effect sizes reported in highly cited emotion research compared with larger studies and meta-analyses addressing the same questions. Clinical Psychological Science. https://doi.org/10.1177/21677026211049366

Freiling, I., Krause, N. M., Scheufele, D. A., & Chen, K. (2021). The science of open (communication) science: Toward an evidence-driven understanding of quality criteria in communication research. Journal of Communication, 71(5), 686-714. https://doi.org/10.1093/joc/jqab032

Head, M. L., Holman, L., Lanfear, R., Kahn, A. T., & Jennions, M. D. (2015). The extent and consequences of p-hacking in science. PLoS Biology, 13(3), Article e1002106. https://doi.org/10.1371/journal.pbio.1002106

Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251). https://doi.org/10.1126/science.aac4716

Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin, 86(3), 638–641. https://doi.org/10.1037/0033-2909.86.3.638

Schimmack, U. (2021a, February 2). The prevalence of questionable research practices in social psychology. Replicability-Index. https://replicationindex.com/2021/02/02/prevalenceqrpsocpsy/

Schimmack, U. (2021b, September 14). Rejection watch: Censorship at JEP-General. Replicability-Index. https://replicationindex.com/2021/09/14/rejection-watch-censorship-at-jep-general/

Simonsohn, U., Nelson, L. D., & Simmons, J. P. (2014). P-curve: A key to the file-drawer. Journal of Experimental Psychology: General, 143(2), 534–547. https://doi.org/10.1037/a0033242

van Assen, M. A. L. M., van Aert, R. C. M., & Wicherts, J. M. (2015). Meta-analysis using effect size distributions of only statistically significant studies. Psychological Methods, 20(3), 293–309. https://doi.org/10.1037/met0000025