Problemas con la investigación paranormal. (I)

Recientemente un tal Dr. Bem presentó supuesta evidencia a favor de la existencia de efectos paranormales [pdf] (psi). Según él, 8 de sus 9 experimentos demostraron que los humanos pueden percibir eventos futuros e inconscientemente tomar en cuenta esa información en la toma de decisiones.

En el Experimento 1, por ejemplo, 100 participantes tenían que decidir si una imagen iba a aparecer a la derecha o a la izquierda; acertando el 53,1% de las veces para las imágenes eróticas. Why psychologists must change the way they analyze their data: The case of psi de Wagenmakers et al [pdf] sostiene que estos resultados (y los resultados en general de la investigación paranormal) no sirven para convencerse de que realmente existen efectos sobrenaturales, sino que demuestran que hay algo fundamentalmente erróneo con la forma en la que los psicólogos analizan sus resultados.

Identifica 3 problemas serios: el uso de métodos exploratorios en vez de confirmatorios; la falacia de la transposición del condicional; y el uso de métodos estadísticos que sobrevaluan la evidencia en contra de la hipótesis nula.

Uso de métodos exploratorios

El primer problema surge directamente de la observación de los métodos del Dr. Bem y es denominado por Wagenmakers (2010) como el Método Exploratorio de Bem. Un análisis exploratorio es aquel en el que luego de conseguir los datos, se trata de encontrar patrones y significancias estadísticas en donde las encuentre; en contraste, un análisis confirmatorio debe establecer la metodología, las variables relevantes y los criterios de confirmaciones previamente a obtener los datos. En Bem (2010), se encuentra gran cantidad de evidencia de que el análisis fue más consistente con el primer caso que con el segundo.

Por ejemplo, el Experimento 1 descripto previamente mostró un efecto sólo en las imágenes eróticas. Pero también se experimentó con imágenes neutras, positivas, negativas, y románticas; ninguna de estas mostró evidencia de psi. Otro ejemplo, quizá aún más claro son los resultados del Experimento 5, en el que la evidencia de precognición pudo verse sólo en las mujeres. No hay razón alguna (y el Dr. Bem lo admite él mismo) para suponer esta diferencia entre géneros, ¿por qué entonces evaluarlo así? Esto se llama expedición de pesca y equivale a lanzar una moneda 100 veces y sorprenderse porque hay una serie de 5 caras seguidas.

(continuará en Parte II)