Las revistas académicas y la prensa ofrecen regularmente nuevas porciones de fascinantes hallazgos de investigación psicológica. Pero, ¿cuántos de esos experimentos producirían los mismos resultados una segunda vez?
contenido relacionado
- Los estudios de ciencias biomédicas son sorprendentemente difíciles de reproducir
- Los estudios con títulos más cortos se citan con mayor frecuencia
- ¿Por qué tan pocos científicos están estudiando las causas de la violencia armada?
Según el trabajo presentado hoy en Science, menos de la mitad de los 100 estudios publicados en 2008 en las tres principales revistas de psicología podrían replicarse con éxito. El esfuerzo internacional incluyó a 270 científicos que volvieron a realizar los estudios de otras personas como parte del Proyecto de Reproducibilidad: Psicología, dirigido por Brian Nosek de la Universidad de Virginia.
Los resultados reveladores no necesariamente significan que esos hallazgos originales fueron incorrectos o que el proceso científico es defectuoso. Cuando un estudio encuentra un efecto que un segundo estudio no puede replicar, hay varias razones posibles, dice el coautor Cody Christopherson de la Universidad Southern Oregon. El resultado del Estudio A puede ser falso, o los resultados del Estudio B pueden ser falsos, o puede haber algunas diferencias sutiles en la forma en que se realizaron los dos estudios que afectaron los resultados.
“Este proyecto no es evidencia de que algo esté roto. Más bien, es un ejemplo de la ciencia haciendo lo que hace la ciencia ”, dice Christopherson. “Es imposible equivocarse en un sentido final en la ciencia. Tienes que estar temporalmente equivocado, tal vez muchas veces, antes de que tengas razón ”.
En todas las ciencias, la investigación se considera reproducible cuando un equipo independiente puede realizar un experimento publicado, siguiendo los métodos originales lo más cerca posible, y obtener los mismos resultados. Es una parte clave del proceso para generar evidencia que respalde las teorías. Incluso hoy, 100 años después de que Albert Einstein presentara su teoría general de la relatividad, los científicos repiten regularmente las pruebas de sus predicciones y buscan casos en los que no se aplique su famosa descripción de la gravedad.
"La evidencia científica no se basa en confiar en la autoridad de la persona que hizo el descubrimiento", dijo en un comunicado Angela Attwood, miembro del equipo, profesora de psicología de la Universidad de Bristol, "Más bien, la credibilidad se acumula a través de la replicación independiente y la elaboración de las ideas". y evidencia ".
El Proyecto de Reproducibilidad, un esfuerzo de crowdsourcing basado en la comunidad, comenzó en 2011 para probar qué tan bien se aplica esta medida de credibilidad a la investigación reciente en psicología. Los científicos, algunos reclutados y algunos voluntarios, revisaron un grupo de estudios y seleccionaron uno para replicar que coincidiera con su propio interés y experiencia. Sus datos y resultados fueron compartidos en línea y revisados y analizados por otros científicos participantes para su inclusión en el gran estudio de Science .
Para ayudar a mejorar la investigación futura, el análisis del proyecto intentó determinar qué tipo de estudios obtuvieron mejores resultados y por qué. Descubrieron que los resultados sorprendentes eran los más difíciles de reproducir, y que la experiencia o los conocimientos de los científicos que realizaron los experimentos originales tenían poco que ver con una replicación exitosa.
Los hallazgos también ofrecieron cierto apoyo para la herramienta estadística tan criticada conocida como Valor P, que mide si un resultado es significativo o se debe al azar. Un valor más alto significa que un resultado es probablemente una casualidad, mientras que un valor más bajo significa que el resultado es estadísticamente significativo.
El análisis del proyecto mostró que un valor de P bajo era bastante predictivo de qué estudios de psicología podrían replicarse. Veinte de los 32 estudios originales con un valor de P inferior a 0.001 podrían replicarse, por ejemplo, mientras que solo 2 de los 11 documentos con un valor superior a 0.04 se replicaron con éxito.
Pero Christopherson sospecha que la mayoría de sus coautores no querrían que el estudio se tomara como un respaldo rotundo de los valores de P, porque reconocen las limitaciones de la herramienta. Y al menos un problema de valor de P se destacó en la investigación: los estudios originales tenían una variabilidad relativamente pequeña en el valor de P, porque la mayoría de las revistas han establecido un límite de 0, 05 para su publicación. El problema es que se puede alcanzar el valor siendo selectivo sobre los conjuntos de datos, lo que significa que los científicos que buscan replicar un resultado también deben considerar cuidadosamente los métodos y los datos utilizados en el estudio original.
Tampoco está claro si la psicología podría ser un campo particularmente difícil para la reproducibilidad: actualmente se está realizando un estudio similar sobre investigación en biología del cáncer. Mientras tanto, Christopherson espera que el esfuerzo masivo estimule más verificaciones y revisiones de investigaciones pasadas para ayudar al proceso científico.
“Hacer las cosas bien significa revisar regularmente los supuestos y resultados pasados y encontrar nuevas formas de probarlos. La única forma en que la ciencia es exitosa y creíble es si es autocrítica ”, señala.
Desafortunadamente, hay desincentivos para realizar este tipo de investigación, dice: “Para ser contratado y promovido en la academia, debes publicar una investigación original, por lo que las réplicas directas son más raras. Espero que las universidades y agencias de financiación responsables de incentivar esta investigación, y los medios de comunicación que las cubren, se den cuenta de que han sido parte del problema y que la devaluación de la replicación de esta manera ha creado una literatura menos estable que nosotros. me gustaría ".
