AEMCCO

Cuenta oficial de la asociación española de metodología de las ciencias del comportamiento. mail: [email protected]

[AEMCCO @_AEMCCO_]

¡Hola a tod@s! 👋👋¿Qué tal el inicio de curso? Esperamos que hayáis podido descansar y cargar las 🔋🔋. Os presentamos una iniciativa que queremos llevar a cabo este curso: La #AEMCCO_talk🤩 abrimos 🧵 con la descripción de la actividad: (1/4)

[ReproducibiliTea UM @ReproTeaUM]

Cerramos la temporada por todo lo alto! 🥳

El lunes día 30 de junio tendremos a @AliciaFrancoXVE para que nos hable de su estudio multi-lab, con colaboración adversarial y en formato Registered Report!

Únete para que te mandemos el recordatorio! https://t.co/ghbHOdpsxX

[dolores frias-navarro @metodosdolores]

https://t.co/YIp5uJZ2lL
Estreno de las vídeo-cápsulas: III Jornada de Emocionate con los datos. @UV_EG @igualtatUV @CdCienciaUV @_AEMCCO_

[Ricardo Rey-Sáez (β) @RicardoRey_95]

8. Ajuste del modelo a los datos
La ventaja de la estimación bayesiana es que permite cuantificar la incertidumbre en torno a cualquier parámetro, pero esto no nos permite saber si el modelo ajusta a los datos. Este es el punto más lejano del trabajo (y acepto sugerencias 🙏🙏)

[Ricardo Rey-Sáez (β) @RicardoRey_95]

7. Dimensionalidad
¿Cuántos factores latentes subyacen a las tareas experimentales? Esta es una de las grandes preguntas para las que aún no hay respuesta.

Afortunadamente, el ganador de la ayuda Julio Olea en 2022 (@SkeptPsych) tiene un muy buen artículo sobre este tema... 😉😉

[Ricardo Rey-Sáez (β) @RicardoRey_95]

6. Modelos exploratorios, semi-exploratorios y confirmatorios.
Mehrvarz y Rouder presentan modelos completamente exploratorios con varios factores con un posible problema de identificación. Se solventará este detalle y se permitirá especificar la estructura teórica latente.

[Ricardo Rey-Sáez (β) @RicardoRey_95]

5. Ilustración empírica.
De nada sirve este trabajo si la gente no puede beneficiarse de él. Por ello, ilustraremos cómo estimar estos modelos utilizando R.

Estos son los objetivos que recogía el proyecto cuando lo presenté. Sin embargo, hay tres cosas más que voy a hacer.

[Ricardo Rey-Sáez (β) @RicardoRey_95]

Por ello, el trabajo generalizará los modelos para otras distribuciones. En concreto:
- Gamma
- Lognormal
- Shifted-lognormal
- Exgaussian

Esto permitirá estudiar la estructura latente inter-sujetos describiendo mejor la naturaleza de la variable dependiente.

[Ricardo Rey-Sáez (β) @RicardoRey_95]

4. Distribución de los tiempos de respuesta.
Aunque el modelo de Mehrvarz y Rouder asume una distribución gaussiana para los tiempos de respuesta, probablemente nadie ha visto a los tiempos de respuesta seguir una distribución normal.

https://t.co/17RhgdRLCw

[Ricardo Rey-Sáez (β) @RicardoRey_95]

3. Programación eficiente
Una crítica habitual (e imprecisa) a Stan es que es más lento que JAGS. Por ello, generalizaremos la lógica que utilizaron Haines et al. (2023) para programar sus modelos jerárquicos. Dejo aquí algo más de información sobre esto.

https://t.co/8UF858a9v6

[Ricardo Rey-Sáez (β) @RicardoRey_95]

2. Solventar la indeterminación factorial
Cuando el modelo de Mehrvarz y Rouder no restringe a las correlaciones a ser positivas, el valor de los pesos factoriales está indeterminado. Esto impide su uso, pues su valor estimado (media posterior) será cero.

https://t.co/rJlIadCmSt

[Ricardo Rey-Sáez (β) @RicardoRey_95]

1. De JAGS a Stan.
Stan utiliza el algoritmo Monte Carlo Hamiltoniano en lugar del algoritmo de Gibbs. Este método tiene la ventaja de poder diagnosticar problemas que pasarían desapercibidos en JAGS, mejorando la fiabilidad y precisión de las estimaciones (McElreath, 2020)

[Ricardo Rey-Sáez (β) @RicardoRey_95]

Su trabajo es un excelente punto de partida para explotar todo el potencial de la psicometría en el mundo experimental, y ese es el objetivo de mi trabajo.

¿Qué cosas voy a hacer en mi proyecto? A continuación, os presento los objetivos del proyecto de menos a más desafiantes.

[Ricardo Rey-Sáez (β) @RicardoRey_95]

Muy recientemente, Mahbod Mehrvarz y Jeff Rouder han desarrollado e implementado en JAGS su propia versión del modelo factorial psicométrico para tareas experimentales. Sin embargo, su interés se centra en recuperar la matriz de correlaciones entre los efectos con mayor precisión

[Ricardo Rey-Sáez (β) @RicardoRey_95]

Resultados:

1. Siempre se infraestima λ
2. ρ es insesgada, pero bastante ineficiente.
3. El paralelo (entre otros) infraestima la dimensionalidad latente.
4. El ajuste es perfecto.

Visto esto, necesitamos un modelo factorial que utilice los datos sin agregar, ensayo a ensayo...

[Ricardo Rey-Sáez (β) @RicardoRey_95]

Veamos qué tal funciona calcular así los efectos con una breve simulación:
- 300 sujetos
- 6 tareas
- 100 ensayos por condición
- 2 factores comunes (ρ = 0.50)
- Tau-equivalente (λ = 0.70)
- 1000 réplicas
- Fiabilidad de los efectos: 0.50 (este valor es empíricamente informado)

[Ricardo Rey-Sáez (β) @RicardoRey_95]

Ejemplo del cálculo del efecto experimental por sujeto:

Cada persona responde a 100 ensayos de dos condiciones experimentales. Calculamos, para cada persona, la media de los 100 ensayos en cada condición. Al restar ambas medias en cada sujeto obtendremos la medida experimental.

[Ricardo Rey-Sáez (β) @RicardoRey_95]

Estas preguntas son las que han impulsado este proyecto, pero no soy el primero en pensarlo ni en aplicarlo. Para utilizar estos modelos, los investigadores suelen calcular el efecto experimental de cada persona y, después, ajustan el modelo a estos datos. Dejo dos ejemplos aquí:

[Ricardo Rey-Sáez (β) @RicardoRey_95]

Aunque todos ellos buscan estimar mejor las correlaciones, ¿por qué detenernos ahí? ¿Por qué no descomponer esta matriz en factores comunes y unicidades, como en psicometría? Además, eso nos informaría de qué tarea mide mejor el proceso común con... ¡Los pesos factoriales!

[Ricardo Rey-Sáez (β) @RicardoRey_95]

¿Qué podemos hacer ante este problema?

Varios autores como Dora Matzke, Jeff Rouder, Julia Haaf o Nathaniel Haines han hecho un trabajo excelente al desarrollar modelos jerárquicos bayesianos para recuperar la correlación entre efectos. Disfruté mucho aprendiendo de todos ellos.

[Ricardo Rey-Sáez (β) @RicardoRey_95]

Esto es aún más importante en investigaciones donde la independencia de variables es el resultado sustantivo de interés. Este escenario es frecuente en estudios donde se infiere que algún proceso básico es inconsciente. @mavadillo y @AliciaFrancoXVE conocen muy bien este tema...