Dos investigadores con credenciales examinan el mismo conjunto de datos. Aplican métodos legítimos y revisados por pares. Llegan a conclusiones opuestas. Esto no es un fallo de la ciencia. Es una característica estructural de cómo se produce el conocimiento, y comprender los mecanismos detrás del desacuerdo entre expertos es esencial para ser un lector competente de la investigación.
El enfoque habitual trata el desacuerdo entre expertos como una situación temporal, algo que se resolverá una vez que «la ciencia se asiente». Pero ese enfoque no capta lo que realmente impulsa el desacuerdo. Las causas no son la ignorancia ni la mala fe (aunque ambas existen). Están integradas en la propia arquitectura de la investigación.
Razonamiento dependiente de los priors: el punto de partida determina el punto de llegada
Cada investigador aborda una pregunta con creencias previas, compromisos teóricos y una formación que moldean su interpretación de los datos. Esto no es un sesgo en el sentido peyorativo. Es una característica ineludible del razonamiento bajo incertidumbre. Dos economistas que analizan una correlación entre deuda pública y crecimiento del PIB ponderarán los mismos datos de forma diferente según si su marco teórico es keynesiano o neoclásico.
El ejemplo más llamativo de desacuerdo entre expertos impulsado por los priors proviene de la macroeconomía. En 2010, Carmen Reinhart y Kenneth Rogoff publicaron «Growth in a Time of Debt», argumentando que los países con una deuda pública superior al 90 % del PIB experimentaban un crecimiento marcadamente negativo. El artículo se convirtió en un pilar de las políticas de austeridad en Europa y Estados Unidos. En 2013, Thomas Herndon, Michael Ash y Robert Pollin, de la Universidad de Massachusetts en Amherst, descubrieron que el resultado se debía a una combinación de errores de codificación en Excel, exclusión selectiva de datos y métodos de ponderación no convencionales. Una vez corregido, el crecimiento medio del PIB de los países muy endeudados era del 2,2 %, no la cifra negativa dramática que Reinhart y Rogoff habían reportado.
El error de codificación fue noticia, pero la lección más profunda se refiere a las decisiones metodológicas. Reinhart y Rogoff excluyeron datos disponibles de Australia, Canadá y Nueva Zelanda durante el período de posguerra, cuando esos países tenían deuda alta y crecimiento alto. Esa exclusión no fue necesariamente una manipulación deliberada. Reflejaba decisiones sobre qué datos incluir, decisiones moldeadas por el marco de referencia de los investigadores sobre lo que «contaba». Priors diferentes, conjunto de datos diferente, conclusión diferente.
La guerra de la grasa y el azúcar: cuando la financiación determina la pregunta
Si las creencias previas explican cómo los expertos interpretan los datos de forma diferente, la financiación explica algo más fundamental: qué preguntas se formulan en primer lugar. La historia de la ciencia de la nutrición ofrece un caso de manual sobre desacuerdo entre expertos que persistió durante décadas porque quienes financiaban la investigación tenían intereses en juego.
En las décadas de 1960 y 1970, dos científicos dominaban el debate sobre las causas de las enfermedades cardiovasculares. El fisiólogo estadounidense Ancel Keys sostenía que las grasas saturadas eran las culpables, basándose en su Estudio de los Siete Países, que correlacionaba el consumo de grasas con las tasas de enfermedades cardíacas. El fisiólogo británico John Yudkin argumentaba que el azúcar refinado era el principal responsable. Ambos tenían credenciales. Ambos tenían datos. Ambos estudiaban la misma epidemia.
Keys ganó. No porque sus pruebas fueran concluyentes (el Estudio de los Siete Países mostraba correlación, no causalidad, y Keys seleccionó países que respaldaban su hipótesis mientras excluía los que no lo hacían). Ganó porque la industria azucarera financió investigaciones que desviaban la culpa hacia la grasa. Documentos descubiertos en 2016 revelaron que la Sugar Research Foundation pagó a científicos de Harvard el equivalente a 50.000 dólares actuales para publicar una revisión en el New England Journal of Medicine que minimizaba el papel del azúcar en las enfermedades cardíacas y trasladaba la culpa a las grasas alimentarias. Keys también ejercía su poder institucional de forma agresiva, calificando el trabajo de Yudkin como «una montaña de disparates» y poniendo fin, en la práctica, a su carrera.
El resultado fueron cuarenta años de directrices alimentarias que aconsejaban evitar la grasa y consumir carbohidratos, una recomendación hoy ampliamente reconocida como contribuyente a la epidemia de obesidad. La hipótesis de Yudkin, rechazada durante décadas, ha sido sustancialmente reivindicada por la investigación reciente. Este no fue un caso en el que un experto tuviera razón y otro se equivocara desde el principio. Fue un caso en el que los incentivos estructurales determinaron qué línea de investigación recibía financiación, apoyo institucional y acceso a revistas, y cuál quedaba privada de los tres.
Sesgo de supervivenciaError lógico de sacar conclusiones de datos incompletos donde se han eliminado los fracasos, lo que lleva a suposiciones incorrectas sobre los factores de éxito. en la investigación publicada
Incluso cuando la financiación es limpia y los priors son transparentes, el propio sistema de publicación genera desacuerdo entre expertos mediante el sesgo de supervivencia. Los estudios que encuentran un resultado estadísticamente significativo tienen muchas más probabilidades de publicarse que los que no encuentran nada. Este es el «problema del cajón»: los resultados nulos permanecen en los cajones mientras los hallazgos positivos llenan las revistas.
En 2005, el epidemiólogo de Stanford John Ioannidis publicó «Why Most Published Research Findings Are False» en PLOS Medicine, argumentando que la combinación de sesgo de publicaciónTendencia a que los estudios con resultados positivos o estadísticamente significativos se publiquen con mucha más frecuencia que aquellos con resultados nulos o negativos, distorsionando la literatura científica disponible., tamaños de muestra pequeños, métodos estadísticos flexibles e incentivos financieros significaba que la mayoría de los hallazgos publicados eran probablemente falsos positivos. El artículo ha sido citado miles de veces y ayudó a desencadenar lo que hoy se conoce como la crisis de replicaciónProblema metodológico persistente en la ciencia: muchos resultados publicados no pueden ser reproducidos por investigadores independientes, lo que socava la confianza en la literatura científica..
El mecanismo es sencillo. Imaginemos veinte equipos de investigación que prueban de forma independiente si un determinado aditivo alimentario causa cáncer. Solo por azar, con el umbral estándar de p < 0,05, un equipo encontrará un resultado «significativo». Ese equipo publica. Los diecinueve equipos que no encontraron nada, no publican. Un lector de la literatura científica ve ahora un estudio publicado que concluye que el aditivo causa cáncer y cero estudios que concluyan lo contrario. El desacuerdo entre expertos no surge de interpretaciones diferentes de los mismos datos, sino de un sistema de publicación que filtra qué datos se hacen visibles en primer lugar.
Decisiones metodológicas que predeterminan los resultados
Los investigadores toman decenas de decisiones antes siquiera de examinar sus resultados. Qué variables controlar. Qué período temporal analizar. Qué modelo estadístico utilizar. Qué valores atípicos excluir. Se denominan «grados de libertad del investigador», y son lo suficientemente poderosos como para convertir los mismos datos brutos en hallazgos contradictorios.
Un estudio de 2018 publicado en Advances in Methods and Practices in Psychological Science proporcionó a 29 equipos de investigación el mismo conjunto de datos y la misma pregunta de investigación (si los árbitros de fútbol muestran más tarjetas rojas a los jugadores de piel oscura). Los equipos utilizaron enfoques analíticos diferentes pero defendibles. Sus resultados variaron desde la ausencia de efecto significativo hasta un efecto grande y significativo. Mismos datos. Misma pregunta. Veintinueve equipos con credenciales. Ningún consenso.
Este es quizá el mecanismo más inquietante detrás del desacuerdo entre expertos. No se trata de fraude, sesgo ni financiación. Se trata de que decisiones analíticas legítimas, cada una individualmente razonable, se acumulan para producir resultados drásticamente diferentes. No existe una única forma «correcta» de analizar la mayoría de los conjuntos de datos reales, lo que significa que el pluralismo metodológico, una característica de la buena ciencia, produce inherentemente desacuerdo.
Por qué el desacuerdo entre expertos no es un defecto
Comprender las causas estructurales del desacuerdo entre expertos no significa que todas las opiniones de los expertos sean igualmente válidas, ni que la experiencia profesional carezca de valor. Significa que cuando veas a dos investigadores cualificados llegar a conclusiones opuestas, deberías hacer preguntas concretas: ¿cuáles eran sus priors? ¿Quién financió la investigación? ¿Qué decisiones metodológicas tomaron, y habrían cambiado el resultado con decisiones diferentes? ¿Se replicó el hallazgo, o se trata de un único estudio publicado que sobrevivió al cajón?
El desacuerdo entre expertos no es prueba de que la ciencia esté rota. Es prueba de que la ciencia es difícil, de que el mundo es complejo, y de que el proceso de convertir una realidad desordenada en conclusiones limpias implica decisiones humanas en cada paso. La respuesta no es rechazar la experiencia profesional. La respuesta es comprender la maquinaria que la sustenta lo suficientemente bien como para leerla de forma crítica.
Fuentes
- Ioannidis, J. P. A. (2005). “Why Most Published Research Findings Are False.” PLOS Medicine. PLOS Medicine
- Herndon, T., Ash, M., & Pollin, R. (2014). “Does High Public Debt Consistently Stifle Economic Growth? A Critique of Reinhart and Rogoff.” Cambridge Journal of Economics, 38(2), 257-279. Cambridge Journal of Economics
- Meach, R. (2018). “From John Yudkin to Jamie Oliver: A Short but Sweet History on the War against Sugar.” In Gentilcore, D. and Smith, M. (eds.), Proteins, Pathologies and Politics. NCBI Bookshelf
- Silberzahn, R., et al. (2018). “Many Analysts, One Data Set: Making Transparent How Variations in Analytic Choices Affect Results.” Advances in Methods and Practices in Psychological Science, 1(3), 337-356.
