Es difícil argumentar contra el poder de la ciencia. Desde estudios que evalúan la última tendencia dietética hasta experimentos que iluminan los predictores de felicidad, las personas han llegado a ver cada vez más los resultados científicos como hechos concretos y confiables que pueden regir cómo pensamos y actuamos.
contenido relacionado
- Los científicos replicaron 100 estudios de psicología, y menos de la mitad obtuvieron los mismos resultados
Pero en los últimos años, un creciente contingente de científicos ha comenzado a cuestionar la veracidad aceptada de la investigación publicada, incluso después de haber eliminado los obstáculos de la revisión por pares y aparece en revistas ampliamente respetadas. El problema es una incapacidad generalizada para replicar una gran proporción de los resultados en numerosas disciplinas.
En 2005, por ejemplo, John Ioannidis, profesor de medicina en la Universidad de Stanford, utilizó varias simulaciones para demostrar que las afirmaciones científicas tienen más probabilidades de ser falsas que verdaderas. Y el verano pasado, Brian Nosek, profesor de psicología en la Universidad de Virginia, intentó replicar los hallazgos de 100 estudios de psicología y descubrió que solo el 39 por ciento de los resultados se mantuvieron bajo rigurosas reevaluaciones.
"Existen múltiples líneas de evidencia, tanto teóricas como empíricas, que han comenzado a cuestionar la reproducibilidad de un segmento sustancial de la literatura científica", dice Ioannidis. "Estamos recibiendo millones de documentos que no van a ninguna parte".
Estos hallazgos preliminares han generado la creación de un campo completamente nuevo llamado metainvestigación: el estudio científico de la ciencia.
Esta semana, el brazo de biología de la Biblioteca Pública de Ciencias (PLOS), una editorial sin fines de lucro y organización de defensa, lanzó una nueva sección dedicada exclusivamente a la metainvestigación. La sección explorará temas como la transparencia en la investigación, los estándares metodológicos, las fuentes de sesgo, el intercambio de datos, la financiación y las estructuras de incentivos.
Para comenzar, Ioannidis y sus colegas evaluaron una muestra aleatoria de 441 artículos biomédicos publicados entre 2000 y 2014. Verificaron si estos documentos proporcionaron acceso público a datos en bruto y protocolos experimentales, se replicaron en estudios posteriores, y sus resultados se integraron en sistemas sistemáticos. revisiones de un área temática e documentación incluida de fuentes de financiación y otros posibles conflictos de intereses.
Sus resultados fueron preocupantes por decir lo menos. Por ejemplo, solo un estudio proporcionó protocolos experimentales completos, y cero estudios proporcionaron datos sin procesar directamente disponibles.
"Estos son dos pilares básicos de la reproducibilidad", dice Ioannidis. "A menos que los datos y el protocolo completo estén disponibles, uno realmente no puede reproducir nada". Después de todo, sin esa información clave, ¿cómo puede otro equipo saber exactamente qué hacer y cómo sus resultados difieren de los del experimento original?
El equipo también descubrió que las afirmaciones de solo ocho de los artículos encuestados fueron confirmadas posteriormente por estudios posteriores. Y a pesar de que muchos de los estudios afirmaron tener resultados novedosos, los resultados de solo 16 artículos se incluyeron en artículos de revisión posteriores, que sirven como prueba de fuego para el verdadero impacto de un estudio sobre un tema en particular.
"Los números que obtenemos son bastante aterradores", dice Ioannidis. "Pero puedes ver eso como una línea de base de dónde estamos ahora, y hay mucho margen de mejora".
Sin embargo, no todos los resultados fueron desalentadores. El porcentaje de artículos sin una declaración de conflicto de intereses disminuyó del 94.4 por ciento en 2000 al 34.6 por ciento en 2014, probablemente como resultado de una creciente conciencia de los efectos perniciosos del sesgo en los resultados de la investigación.
En un segundo estudio de meta-investigación, un equipo alemán analizó cómo la pérdida de sujetos animales durante los ensayos preclínicos podría contribuir a la incapacidad generalizada de traducir los resultados de laboratorio en medicamentos clínicos útiles.
Los animales de investigación pueden desaparecer de un estudio al azar, por ejemplo, porque el animal murió, o mediante acciones sutilmente sesgadas, como ser eliminado del ensayo para eliminar los datos que socavan los resultados esperados. El equipo demostró que la eliminación sesgada de sujetos animales puede sesgar los resultados y aumentar significativamente la probabilidad de un falso positivo, cuando se cree que un nuevo medicamento funciona pero en realidad no lo hace.
En un análisis separado de estudios preclínicos sobre accidente cerebrovascular y cáncer, los mismos investigadores descubrieron que la mayoría de los documentos no informaron adecuadamente la pérdida de sujetos animales, y que los efectos positivos de muchos medicamentos que se están probando pueden sobreestimarse en gran medida.
Entonces, ¿por qué está ocurriendo esta crisis de transparencia y reproducibilidad en primer lugar?
Si bien algunos problemas pueden deberse a sesgos de investigación conscientes o inconscientes, es probable que la mayoría de los estudios que llegan a ser publicados sean únicos debido a la estructura actual de incentivos en la ciencia.
En el despiadado mundo de la academia, la medida principal del éxito es la cantidad de estudios que un investigador obtiene en revistas prestigiosas. Como resultado, los científicos están bajo presión para pasar la mayor parte de su tiempo obteniendo los tipos de resultados innovadores que es más probable que se publiquen.
"Si bien valoramos la reproducibilidad en el concepto, en realidad no la valoramos en la práctica", dice Nosek, quien también es codirector del Center for Open Science, una startup tecnológica sin fines de lucro que trabaja para fomentar la transparencia y la reproducibilidad en la investigación científica.
“Los verdaderos incentivos que impulsan mi comportamiento como científico son innovar, hacer nuevos descubrimientos y abrir nuevos caminos, no repetir lo que otros han hecho. Esa es la parte aburrida de la ciencia ".
Los científicos también ven pocos incentivos para proporcionar la información necesaria para que otros puedan replicar su trabajo, que es una de las principales razones por las cuales las afirmaciones de tantos estudios permanecen sin verificar.
"No soy recompensado por hacer que mis datos estén disponibles o deletrear mi metodología con más profundidad de lo que se requiere para entrar en una publicación", dice Nosek.
Muchas revistas solicitan a los científicos que proporcionen una explicación detallada de sus métodos y que compartan datos, pero estas políticas rara vez se aplican y no existen estándares de publicación universales.
“Si supiera que nunca habrá policías en las carreteras, ¿siempre me atendré al límite de velocidad? No, es la naturaleza humana ", dice Ivan Oransky, cofundador de Retraction Watch, una organización que promueve la responsabilidad y la transparencia mediante el seguimiento de las retracciones en la literatura científica. "Si sabes que nadie te va a sancionar, entonces no vas a compartir datos".
Es poco probable que los científicos que desean realizar trabajos de replicación y puedan obtener detalles experimentales encuentren fondos de agencias públicas como los NIH, que juzgan principalmente las solicitudes de subvenciones basadas en la novedad y la innovación.
"Las probabilidades están claramente en contra de la replicación", dice Ioannidis.
Ahí es donde puede intervenir el campo emergente de la meta-investigación. Organizaciones como el Centro de Ciencia Abierta y el Centro de Innovación de Meta-Investigación en Stanford (METRICS) están trabajando para ayudar a realinear el sistema de recompensas y establecer estándares universales estrictos que alentarán una mayor difusión. prácticas de transparencia y reproducibilidad.
“Si los niveles de financiamiento o la promoción dependieran de lo que sucedió con su investigación anterior, si fuera replicable, si las personas pudieran entenderlo, si pudieran traducirlo en algo útil en lugar de cuántos documentos publicaron, eso sería un incentivo muy fuerte para cambiar la investigación para que sea más reproducible ", dice Ioannidis, quien es codirector de METRICS.
"Tengo la esperanza de que estos indicadores mejorarán", agrega. "Y para algunos de ellos, no hay otra posibilidad que subir, porque comenzamos desde cero".
