Deux chercheurs diplômés examinent le même jeu de données. Ils appliquent des méthodes légitimes, validées par des pairs. Ils parviennent à des conclusions opposées. Ce n’est pas un dysfonctionnement de la science. C’est une caractéristique structurelle de la production du savoir, et comprendre les mécanismes derrière le désaccord entre experts est essentiel pour quiconque souhaite lire la recherche de manière éclairée.
Le cadrage habituel traite le désaccord entre experts comme une situation temporaire, quelque chose qui se résoudra une fois que « la science aura tranché ». Mais ce cadrage passe à côté de ce qui alimente réellement le désaccord. Les causes ne sont ni l’ignorance ni la mauvaise foi (bien qu’elles existent). Elles sont intégrées dans l’architecture même de la recherche.
Le raisonnement dépendant des priors : le point de départ détermine le point d’arrivée
Chaque chercheur aborde une question avec des croyances préalables, des engagements théoriques et une formation qui façonnent son interprétation des données. Ce n’est pas un biais au sens péjoratif du terme. C’est une caractéristique incontournable du raisonnement en situation d’incertitude. Deux économistes examinant une corrélation entre dette publique et croissance du PIB pondéreront les mêmes données différemment selon que leur cadre théorique est keynésien ou néoclassique.
L’exemple le plus frappant de désaccord entre experts lié aux priors vient de la macroéconomie. En 2010, Carmen Reinhart et Kenneth Rogoff ont publié « Growth in a Time of Debt », affirmant que les pays dont la dette publique dépassait 90 % du PIB connaissaient une croissance nettement négative. L’article est devenu une pierre angulaire des politiques d’austérité en Europe et aux États-Unis. En 2013, Thomas Herndon, Michael Ash et Robert Pollin, de l’Université du Massachusetts à Amherst, ont découvert que le résultat reposait sur une combinaison d’erreurs de codage dans Excel, d’exclusion sélective de données et de méthodes de pondération non conventionnelles. Une fois corrigée, la croissance moyenne du PIB pour les pays très endettés était de 2,2 %, et non le chiffre négatif spectaculaire rapporté par Reinhart et Rogoff.
L’erreur de codage a fait les gros titres, mais la leçon profonde concerne les choix méthodologiques. Reinhart et Rogoff ont exclu des données disponibles pour l’Australie, le Canada et la Nouvelle-Zélande pendant la période d’après-guerre, alors que ces pays avaient une dette élevée et une croissance forte. Cette exclusion n’était pas nécessairement une manipulation délibérée. Elle reflétait des choix sur les données à inclure, des choix façonnés par le cadre des chercheurs quant à ce qui « comptait ». Des priors différents, un jeu de données différent, une conclusion différente.
La guerre du gras et du sucre : quand le financement oriente la question
Si les croyances préalables expliquent comment les experts interprètent les données différemment, le financement explique quelque chose de plus fondamental : quelles questions sont posées en premier lieu. L’histoire de la science nutritionnelle offre un cas d’école de désaccord entre experts qui a persisté pendant des décennies parce que ceux qui finançaient la recherche avaient des intérêts en jeu.
Dans les années 1960 et 1970, deux scientifiques dominaient le débat sur les causes des maladies cardiovasculaires. Le physiologiste américain Ancel Keys soutenait que les graisses saturées étaient en cause, s’appuyant sur son étude des sept pays qui corrélait la consommation de graisses avec les taux de maladies cardiaques. Le physiologiste britannique John Yudkin affirmait que le sucre raffiné était le principal responsable. Tous deux étaient diplômés. Tous deux disposaient de données. Tous deux étudiaient la même épidémie.
Keys l’a emporté. Non pas parce que ses preuves étaient concluantes (l’étude des sept pays démontrait une corrélation, pas un lien de causalité, et Keys avait sélectionné les pays qui soutenaient son hypothèse tout en excluant ceux qui la contredisaient). Il l’a emporté parce que l’industrie sucrière finançait des recherches qui détournaient les soupçons vers les graisses. Des documents mis au jour en 2016 ont révélé que la Sugar Research Foundation avait payé des scientifiques de Harvard l’équivalent de 50 000 dollars actuels pour publier une revue dans le New England Journal of Medicine minimisant le rôle du sucre dans les maladies cardiaques et rejetant la faute sur les graisses alimentaires. Keys exerçait également son pouvoir institutionnel de manière agressive, qualifiant les travaux de Yudkin de « montagne d’absurdités » et mettant effectivement fin à sa carrière.
Le résultat : quarante ans de recommandations alimentaires conseillant d’éviter les graisses et de consommer des glucides, une recommandation aujourd’hui largement reconnue comme ayant contribué à l’épidémie d’obésité. L’hypothèse de Yudkin, rejetée pendant des décennies, a été largement confirmée par les recherches récentes. Il ne s’agissait pas d’un cas où un expert avait raison et l’autre tort depuis le début. C’était un cas où des incitations structurelles déterminaient quelle piste de recherche recevait des financements, un soutien institutionnel et un accès aux revues, et laquelle en était privée.
Le biais du survivant dans la recherche publiée
Même lorsque le financement est transparent et les priors explicites, le système de publication lui-même génère du désaccord entre experts par le biais du survivant. Les études qui trouvent un résultat statistiquement significatif ont beaucoup plus de chances d’être publiées que celles qui ne trouvent rien. C’est le « problème du tiroir » : les résultats nuls restent dans les tiroirs tandis que les résultats positifs remplissent les revues.
En 2005, l’épidémiologiste de Stanford John Ioannidis a publié « Why Most Published Research Findings Are False » dans PLOS Medicine, avançant que la combinaison du biais de publicationTendance des études aux résultats positifs ou statistiquement significatifs à être publiées bien plus souvent que celles aux résultats nuls ou négatifs, faussant ainsi la littérature scientifique visible., des petits échantillons, des méthodes statistiques flexibles et des incitations financières signifiait que la majorité des résultats publiés étaient probablement des faux positifs. L’article a été cité des milliers de fois et a contribué à déclencher ce qu’on appelle aujourd’hui la crise de la réplication.
Le mécanisme est simple. Imaginons vingt équipes de recherche testant indépendamment si un additif alimentaire donné provoque le cancer. Par le seul hasard, au seuil standard de p < 0,05, une équipe trouvera un résultat « significatif ». Cette équipe publie. Les dix-neuf autres, qui n’ont rien trouvé, ne publient pas. Un lecteur de la littérature scientifique voit alors une étude publiée concluant que l’additif provoque le cancer, et zéro étude concluant le contraire. Le désaccord entre experts ne naît pas d’interprétations différentes des mêmes données, mais d’un système de publication qui filtre quelles données deviennent visibles en premier lieu.
Des choix méthodologiques qui prédéterminent les résultats
Les chercheurs prennent des dizaines de décisions avant même d’examiner leurs résultats. Quelles variables contrôler. Quelle période analyser. Quel modèle statistique utiliser. Quelles valeurs aberrantes exclure. On appelle cela les « degrés de liberté du chercheur », et ils sont suffisamment puissants pour transformer les mêmes données brutes en conclusions contradictoires.
Une étude de 2018 publiée dans Advances in Methods and Practices in Psychological Science a confié à 29 équipes de recherche le même jeu de données et la même question (les arbitres de football donnent-ils plus de cartons rouges aux joueurs à la peau foncée). Les équipes ont utilisé des approches analytiques différentes mais défendables. Leurs résultats allaient de l’absence d’effet significatif à un effet important et significatif. Mêmes données. Même question. Vingt-neuf équipes diplômées. Aucun consensus.
C’est peut-être le mécanisme le plus déstabilisant derrière le désaccord entre experts. Il ne s’agit ni de fraude, ni de biais, ni de financement. Il s’agit du fait que des choix analytiques légitimes, chacun individuellement raisonnable, se cumulent pour produire des résultats radicalement différents. Il n’existe pas de méthode unique « correcte » pour analyser la plupart des jeux de données réels, ce qui signifie que le pluralisme méthodologique, une caractéristique de la bonne science, produit intrinsèquement du désaccord.
Pourquoi le désaccord entre experts n’est pas un défaut
Comprendre les causes structurelles du désaccord entre experts ne signifie pas que toutes les opinions d’experts se valent, ni que l’expertise est sans valeur. Cela signifie que lorsque vous voyez deux chercheurs qualifiés parvenir à des conclusions opposées, vous devriez poser des questions précises : quels étaient leurs priors ? Qui a financé la recherche ? Quels choix méthodologiques ont-ils faits, et des choix différents auraient-ils changé le résultat ? Le résultat a-t-il été répliqué, ou s’agit-il d’une seule étude publiée ayant survécu au tiroir ?
Le désaccord entre experts ne prouve pas que la science est en panne. Il prouve que la science est difficile, que le monde est complexe, et que le processus de conversion d’une réalité désordonnée en conclusions nettes implique des choix humains à chaque étape. La réponse n’est pas de rejeter l’expertise. La réponse est de comprendre suffisamment bien la mécanique qui la sous-tend pour la lire de manière critique.
Sources
- Ioannidis, J. P. A. (2005). « Why Most Published Research Findings Are False. » PLOS Medicine. PLOS Medicine
- Herndon, T., Ash, M., & Pollin, R. (2014). « Does High Public Debt Consistently Stifle Economic Growth? A Critique of Reinhart and Rogoff. » Cambridge Journal of Economics, 38(2), 257-279. Cambridge Journal of Economics
- Meach, R. (2018). « From John Yudkin to Jamie Oliver: A Short but Sweet History on the War against Sugar. » In Gentilcore, D. and Smith, M. (eds.), Proteins, Pathologies and Politics. NCBI Bookshelf
- Silberzahn, R., et al. (2018). « Many Analysts, One Data Set: Making Transparent How Variations in Analytic Choices Affect Results. » Advances in Methods and Practices in Psychological Science, 1(3), 337-356.
