L’effet Dunning-Kruger : ce que la recherche originale montre vraiment

L’effet Dunning-Kruger est l’une des découvertes les plus citées de la psychologie populaire. La thèse principale, telle qu’elle circule dans des milliers de publications LinkedIn et de conférences dans la veine TED, peut se résumer ainsi : les personnes incompétentes sont trop incompétentes pour se savoir incompétentes, ce qui expliquerait une grande partie du comportement humain. L’article original de 1999, signé Justin Kruger et David Dunning, met bien en évidence quelque chose de réel. Mais ce qu’il montre est considérablement plus nuancé, plus contraint techniquement et plus intéressant que ne le laisse entendre la version méméifiée.

Cet article analyse en détail la recherche sur l’effet Dunning-Kruger : la méthodologie originale, les critiques statistiques apparues sur deux décennies, ce que les réplications récentes ont révélé, et ce que les données soutiennent vraiment quand on les lit attentivement plutôt qu’on les cite par réflexe.

Ce que l’article original faisait réellement

Kruger et Dunning ont publié leur article de 1999, « Unskilled and Unaware of It » (Incompétents et sans le savoir), dans le Journal of Personality and Social Psychology. L’étude consistait en une série d’expériences menées avec des étudiants de l’Université Cornell. Les participants passaient des tests de raisonnement logique, de grammaire et de reconnaissance de l’humour, puis estimaient à la fois leur score brut et leur rang en centile par rapport aux autres participants.

La découverte centrale : les personnes classées dans le quartileUn des quatre groupes égaux créés en divisant une distribution en quatre parties. Le quartile inférieur représente les 25 % les plus bas ; le quartile supérieur les 25 % les plus hauts. inférieur de ces tests avaient tendance à surestimer considérablement leur rang en centile. Elles pensaient se situer autour du 60e centile, alors qu’elles se trouvaient en réalité au 12e. Les personnes du quartile supérieur, quant à elles, sous-estimaient légèrement leur rang. L’article avançait que cet écart entre compétence réelle et perçue reflétait un déficit métacognitif : les compétences nécessaires pour bien performer sont les mêmes que celles requises pour évaluer sa propre performance. En leur absence, on ne peut pas constater avec précision son propre manque de compétences.

Ce cadrage métacognitif constitue l’effet Dunning-Kruger à proprement parler. C’est une affirmation précise sur un mécanisme cognitif spécifique, pas une théorie générale de la sur-confiance humaine.

Le problème de l’artefact statistique

Les méthodologistes ont presque immédiatement relevé un problème structurel dans l’analyse de l’étude. La question centrale est la régression vers la moyenne, combinée aux propriétés mathématiques des comparaisons par centile.

Considérons la situation d’un participant du quartile inférieur. Si on lui demande d’estimer son rang en centile, la seule direction dans laquelle il peut se tromper est vers le haut. On ne peut pas estimer son centile en dessous de zéro. On ne peut pas obtenir un score au -5e centile. Par construction, quiconque se trouve au bas de la distribution ne peut que surestimer son résultat réel. Quiconque se trouve au sommet ne peut que sous-estimer. Le schéma « les incompétents surestiment, les experts sous-estiment » émergerait, au moins partiellement, du bruit pur, même si les participants n’avaient aucune information sur leur propre performance.

Ce n’est pas une objection mineure. Des chercheurs dont Ulrich Ecker et Gilles Gignac ont démontré par simulation qu’on peut reproduire une grande partie du schéma Dunning-Kruger en générant des données aléatoires et en appliquant la même analyse. Le schéma n’est pas entièrement artificiel, mais une part significative pourrait l’être. La question est : quelle part ?

Tal Yarkoni, neuroscientifique et méthodologiste, a signalé dans un billet de blog de 2010 (formalisé par la suite dans des discussions sur les artefacts statistiques en psychologie) que la découverte Dunning-Kruger est vulnérable à ce que les statisticiens appellent la régression vers la moyenne : lorsque deux mesures sont imparfaitement corrélées (performance réelle et performance auto-estimée), les scores extrêmes sur une variable seront, en moyenne, moins extrêmes sur l’autre. Cela produit le schéma caractéristique « les faibles performers surestiment, les bons performers sous-estiment » sans nécessairement exiger d’explication métacognitive.

Ce que la recherche plus récente a révélé

Deux articles d’Edward Nuhfer et ses collègues, publiés dans la revue Numeracy en 2016 et 2017, constituent l’un des réexamens les plus rigoureux de la thèse Dunning-Kruger. L’équipe de Nuhfer a utilisé un échantillon beaucoup plus grand, évalué les connaissances scientifiques sur un large éventail de sujets, et appliqué des méthodes statistiques différentes, dont des approches fondées sur la corrélation plutôt que sur la comparaison par quartile employée par Kruger et Dunning.

Leurs résultats étaient frappants. Lorsqu’ils analysaient les données par corrélation (dans quelle mesure les connaissances auto-évaluées reflètent-elles les connaissances réelles, sur l’ensemble de la distribution ?) plutôt que par comparaison par quartiles, ils constataient que les personnes sont, en général, raisonnablement bien calibrées. La sur-confiance massive des incompétents est considérablement moindre que ne le suggérait l’article original. Les participants peu compétents tendent bien à surestimer quelque peu, et les très compétents à sous-estimer quelque peu, mais les amplitudes sont plus modestes que dix ans de couverture scientifique populaire ne le laissait entendre.

L’équipe de Nuhfer a également découvert quelque chose que l’article original reconnaissait mais que presque personne ne mentionne : l’effet au sommet de la distribution est tout aussi réel que l’effet à la base. Les experts sous-estiment systématiquement leur propre compétence par rapport aux autres. Ce phénomène est parfois appelé l’effet Imposteur dans l’usage courant, bien que le terme ait été étendu bien au-delà de son sens originel. Ce qui importe, c’est que l’article Dunning-Kruger est en réalité une découverte à deux faces, et la moitié concernant la sous-estimation par les experts a été presque entièrement abandonnée dans la couverture populaire.

Le propre compte rendu plus nuancé de David Dunning

David Dunning a été particulièrement attentif, dans ses écrits ultérieurs, à distinguer la découverte de recherche de son interprétation populaire. Dans ses interviews et essais, il a constamment souligné que l’effet porte sur les limites métacognitives dans l’évaluation de sa propre performance dans des domaines spécifiques, et non sur l’idée que les personnes incompétentes se trompent avec assurance sur tout et en permanence.

Dunning a précisé que l’effet Dunning-Kruger, bien compris, dit quelque chose d’important : l’expertise dans un domaine tend à venir avec la capacité de reconnaître ce qu’on ne sait pas dans ce domaine, tandis que les novices manquent souvent du cadre conceptuel nécessaire pour formuler les bonnes questions. C’est un enseignement pertinent et utile. C’est simplement un enseignement bien plus limité que « les gens stupides sont trop confiants ».

Il a également noté que l’effet est spécifique au domaine. Quelqu’un de peu compétent en raisonnement logique n’est pas nécessairement mal calibré sur ses compétences culinaires. Le déficit métacognitif s’applique à l’intérieur des domaines, pas globalement. La version méméifiée efface entièrement cette spécificité.

Ce que les données sur l’effet Dunning-Kruger soutiennent réellement

Après examen de l’article original, des critiques statistiques et de la littérature de réplication, voici ce que la recherche sur l’effet Dunning-Kruger soutient vraiment :

• Les personnes du quartile de performance le plus bas sur des tâches spécifiques tendent à surestimer leur rang en centile, et cette surestimation est réelle même après correction d’une partie de l’artefact statistique. L’amplitude est moindre que communément affirmée, mais la direction est constante.
• Les personnes du quartile le plus élevé tendent à sous-estimer leur rang en centile. Cette moitié de la découverte est tout aussi étayée, mais presque jamais citée.
• La version la plus extrême du schéma de surestimation constaté dans l’article original est partiellement expliquée par les contraintes mathématiques de l’estimation par centile et la régression vers la moyenne. Les études de réplication utilisant des méthodologies mieux contrôlées trouvent des effets plus faibles.
• Le mécanisme proposé (déficit métacognitif) est plausible et étayé par des recherches connexes, mais est plus difficile à prouver que le schéma comportemental lui-même.
• L’effet est spécifique au domaine, spécifique à la tâche et mesuré dans des conditions de laboratoire. L’extrapoler pour expliquer les comportements politiques, la dynamique au travail ou le discours sur les réseaux sociaux exige des hypothèses que la recherche ne soutient pas.

L’effet Dunning-Kruger existe. Il est simplement plus petit, plus conditionnel et plus symétrique que la version devenue un raccourci pour « cet idiot confiant ne sait pas à quel point il est incompétent ».

Pourquoi la version méméifiée persiste

C’est une question que la recherche Dunning-Kruger est, ironiquement, bien placée pour éclairer. La version méméifiée de l’effet Dunning-Kruger est satisfaisante d’une façon que la découverte réelle ne l’est pas. Elle offre aux gens une étiquette pour des comportements qu’ils trouvaient déjà agaçants. Elle semble explicative. Elle établit une hiérarchie : vous, la personne qui connaît l’effet Dunning-Kruger, n’en êtes vraisemblablement pas victime. Tout le monde l’est.

C’est un bon exemple de ce que les chercheurs étudiant le raisonnement anti-motivéMécanisme cognitif consistant à chercher activement des failles dans une preuve qui pointe vers une conclusion indésirable, plutôt que de l'évaluer de manière impartiale. décrivent comme l’acceptation motivée : les gens absorbent facilement les résultats de recherche qui valident leurs frustrations et visions du monde existantes, et appliquent rarement ces mêmes résultats à eux-mêmes. L’effet Dunning-Kruger, tel que compris populairement, est presque toujours appliqué à quelqu’un d’autre.

Le problème du désaccord entre experts est également pertinent ici. Les critiques de la méthodologie Dunning-Kruger existent dans la littérature académique et sont sérieusement discutées par les chercheurs depuis au moins 2010. Mais le désaccord entre experts arrive rarement dans la couverture de la science populaire. La découverte a été amplifiée ; les corrections ne l’ont pas été.

Note sur ce que cela signifie en pratique

Rien de tout cela ne signifie que la sur-confiance chez les personnes peu compétentes est un mythe. Les gens se surestiment bel et bien, et les novices font cela de façon plus prononcée que les experts dans des domaines spécifiques. Si vous recrutez pour un poste technique, ou évaluez des affirmations dans un domaine où vous manquez d’expertise, l’enseignement fondamental de l’article original reste utile : la personne incapable de faire le travail est aussi moins susceptible de le savoir, comparée à un évaluateur expert.

La leçon pratique est plus étroite que le mème : méfiez-vous particulièrement des auto-évaluations confiantes dans des domaines où la personne manque de compétence démontrée, et reconnaissez que l’expertise tend à apporter la conscience de ce qu’on ne sait pas. Le corollaire, à savoir que vous devriez aussi être attentif à l’effet de sous-estimation des experts, est tout aussi actionnable : les personnes qualifiées se sous-vendent souvent, surtout face à des voix bruyantes mais moins qualifiées.

La recherche mérite d’être prise au sérieux. C’est précisément pourquoi il vaut la peine de la comprendre correctement.

Sources

• Kruger, J. & Dunning, D. (1999). Unskilled and Unaware of It: How Difficulties in Recognizing One’s Own Incompetence Lead to Inflated Self-Assessments. Journal of Personality and Social Psychology
• Nuhfer, E. et al. (2016). Random Number Simulations Reveal How Random Noise Affects the Measurements and Graphical Portrayals of Self-Assessed Competency: Numeracy, Vol. 9
• Nuhfer, E. et al. (2017). How Random Noise and a Graphical Convention Subverted Behavioral Scientists’ Explanations of Self-Assessment Data: Numeracy, Vol. 10
• Yarkoni, T. (2010). What the Dunning-Kruger effect Is and Isn’t (discussion of statistical artifacts in psychology self-assessment research, widely cited in subsequent methodological literature)
• Gignac, G.E. & Zajenkowski, M. (2020). The Dunning-Kruger effect is (mostly) a statistical artefact: Valid approaches avoid inferring self-assessment bias from social comparisons. Intelligence