Der Dunning-Kruger-Effekt: Was die Originalforschung wirklich zeigt

Der Dunning-Kruger-Effekt gehört zu den meistzitierten Befunden der Populärpsychologie. Die Kernthese, so wie sie durch tausende LinkedIn-Beiträge und TED-nahe Vorträge gereist ist, lautet ungefähr so: Inkompetente Menschen sind zu inkompetent, um ihre eigene Inkompetenz zu erkennen, und das erkläre einen Großteil des menschlichen Verhaltens. Der Originalartikel von 1999 von Justin Kruger und David Dunning zeigt tatsächlich etwas Reales. Aber was er zeigt, ist erheblich differenzierter, technisch eingeschränkter und interessanter, als die Meme-Version nahelegt.

Dieser Artikel arbeitet sich durch die eigentliche Dunning-Kruger-Forschung: die ursprüngliche Methodik, die statistischen Kritiken, die über zwei Jahrzehnte entstanden sind, was neuere Replikationen ergaben, und was die Daten tatsächlich stützen, wenn man sie sorgfältig liest statt sie reflexartig zu zitieren.

Was der Originalartikel wirklich untersuchte

Kruger und Dunning veröffentlichten 1999 ihren Artikel „Unskilled and Unaware of It” im Journal of Personality and Social Psychology. Die Studie umfasste eine Reihe von Experimenten mit Studierenden der Cornell University. Die Teilnehmenden absolvierten Tests zu logischem Denken, Grammatik und Humorerkennung und schätzten anschließend sowohl ihr Rohergebnis als auch ihren Perzentilrang im Vergleich zu anderen Teilnehmenden ein.

Der zentrale Befund: Personen im untersten QuartilEine von vier gleichen Gruppen, die durch Unterteilung einer Verteilung in vier Teile entstehen. Das untere Quartil stellt die unteren 25 % dar; das obere Quartil die oberen 25 %. dieser Tests neigten dazu, ihren Perzentilrang erheblich zu überschätzen. Sie glaubten, sich etwa im 60. Perzentil zu befinden, während sie tatsächlich auf dem 12. rangierten. Personen im obersten Quartil hingegen unterschätzten ihren Rang leicht. Der Artikel argumentierte, dass diese Diskrepanz zwischen tatsächlicher und wahrgenommener Kompetenz ein metakognitives Defizit widerspiegele: Die Fähigkeiten, die man braucht, um gut abzuschneiden, sind dieselben, die man braucht, um die eigene Leistung einzuschätzen. Fehlen diese Fähigkeiten, kann man das eigene Fehlen derselben nicht akkurat beurteilen.

Diese metakognitive Rahmung ist der eigentliche Dunning-Kruger-Effekt. Es handelt sich um eine spezifische Behauptung über einen spezifischen kognitiven Mechanismus, nicht um eine allgemeine Theorie menschlicher Selbstüberschätzung.

Das Problem des statistischen Artefakts

Methodologen bemerkten fast sofort ein strukturelles Problem in der Analyse der Studie. Das Kernproblem ist die Regression zur Mitte, kombiniert mit den mathematischen Eigenschaften perzentilbasierter Vergleiche.

Betrachten wir die Situation einer Person im untersten Quartil. Wenn man diese Person bittet, ihren Perzentilrang zu schätzen, kann sie sich nur in eine Richtung irren: nach oben. Man kann seinen Perzentil nicht unterhalb von null schätzen. Man kann keinen Score im minus 5. Perzentil erzielen. Per Konstruktion kann jeder, der am unteren Ende der Verteilung liegt, nur überschätzen. Jeder, der oben liegt, kann nur unterschätzen. Das Muster „Unqualifizierte überschätzen, Experten unterschätzen” würde, zumindest teilweise, aus reinem Rauschen entstehen, selbst wenn die Teilnehmenden keinerlei Information über ihre eigene Leistung hätten.

Das ist kein geringfügiger Einwand. Forscher wie Ulrich Ecker und Gilles Gignac zeigten durch Simulation, dass man einen Großteil des Dunning-Kruger-Musters reproduzieren kann, indem man zufällige Daten generiert und dieselbe Analyse anwendet. Das Muster ist nicht vollständig artifiziell, aber ein bedeutender Teil davon könnte es sein. Die Frage lautet: wie viel?

Tal Yarkoni, Neurowissenschaftler und Methodologe, wies in einem Blogbeitrag von 2010 darauf hin, dass der Dunning-Kruger-Befund anfällig für das ist, was Statistiker als Regression zur Mitte bezeichnen: Wenn zwei Maße unvollkommen korreliert sind, werden extreme Werte bei einer Variable im Durchschnitt weniger extrem bei der anderen sein. Das erzeugt das charakteristische Muster, ohne dass zwingend eine metakognitive Erklärung erforderlich ist.

Was neuere Forschung ergab

Zwei Artikel von Edward Nuhfer und Kollegen, veröffentlicht in der Zeitschrift Numeracy in den Jahren 2016 und 2017, liefern eine der sorgfältigsten Neuuntersuchungen der Dunning-Kruger-These. Nuhfers Team verwendete eine deutlich größere Stichprobe, bewertete Wissenschaftswissen über ein breites Themenspektrum und wendete andere statistische Methoden an, darunter korrelationsbasierte Ansätze statt der von Kruger und Dunning verwendeten Quartilvergleichsmethode.

Ihre Ergebnisse waren bemerkenswert. Als sie die Daten per Korrelation analysierten statt durch Quartilvergleiche, stellten sie fest, dass Menschen im Allgemeinen recht gut kalibriert sind. Die massive Selbstüberschätzung Inkompetenter ist erheblich geringer, als der Originalartikel nahegelegt hatte. Wenig kompetente Teilnehmende neigen zwar dazu, sich etwas zu überschätzen, und sehr kompetente Teilnehmende sich etwas zu unterschätzen, aber die Ausmaße sind bescheidener, als ein Jahrzehnt populärwissenschaftlicher Berichterstattung vermuten ließ.

Nuhfers Team fand auch etwas, das der Originalartikel anerkannte, das aber fast niemand erwähnt: Der Effekt am oberen Ende der Verteilung ist genauso real wie der Effekt am unteren Ende. Experten unterschätzen systematisch ihre eigene Kompetenz im Vergleich zu anderen. Dies wird im informellen Gebrauch manchmal als Impostor-Effekt bezeichnet, obwohl der Begriff weit über seine ursprüngliche Bedeutung hinaus ausgedehnt wurde. Der Punkt ist, dass der Dunning-Kruger-Artikel eigentlich einen zweiseitigen Befund darstellt, und die Hälfte über die Unterschätzung durch Experten wurde in der populären Berichterstattung fast vollständig fallengelassen.

David Dunnings eigene differenziertere Darstellung

David Dunning war in seinen späteren Schriften auffallend sorgfältig darin, zwischen dem Forschungsbefund und seiner populären Interpretation zu unterscheiden. In Interviews und Essays betonte er stets, dass es beim Effekt um metakognitive Einschränkungen bei der Einschätzung der eigenen Leistung in spezifischen Bereichen geht, nicht um die Behauptung, dass inkompetente Menschen ständig und überall selbstsicher falsch liegen.

Dunning hat darauf hingewiesen, dass der Dunning-Kruger-Effekt, richtig verstanden, etwas Wichtiges sagt: Expertise in einem Bereich kommt in der Regel gebündelt mit der Fähigkeit, zu erkennen, was man in diesem Bereich nicht weiß, während Novizen oft den konzeptionellen Rahmen vermissen, der benötigt wird, um überhaupt die richtigen Fragen zu formulieren. Das ist eine bedeutungsvolle und nützliche Erkenntnis. Sie ist nur eine erheblich begrenztere, als „dumme Menschen sind zu selbstsicher”.

Er hat auch festgestellt, dass der Effekt domänenspezifisch ist. Jemand, der im logischen Denken unqualifiziert ist, ist nicht notwendigerweise schlecht kalibriert in Bezug auf seine Kochfähigkeiten. Das metakognitive Defizit gilt innerhalb von Domänen, nicht global. Die Meme-Version streicht diese Spezifität vollständig heraus.

Was die Dunning-Kruger-Daten wirklich stützen

Nach Durchsicht des Originalartikels, der statistischen Kritiken und der Replikationsliteratur ist hier, was die Dunning-Kruger-Forschung tatsächlich stützt:

• Personen im untersten Leistungsquartil bei spezifischen Aufgaben neigen dazu, ihren Perzentilrang zu überschätzen, und diese Überschätzung ist real, auch nachdem ein Teil des statistischen Artefakts berücksichtigt wurde. Das Ausmaß ist geringer als allgemein behauptet, aber die Richtung ist konsistent.
• Personen im höchsten Quartil neigen dazu, ihren Perzentilrang zu unterschätzen. Diese Hälfte des Befunds ist gleichermaßen gestützt, wird aber fast nie zitiert.
• Das extremste Überschätzungsmuster aus dem Originalartikel ist teilweise durch die mathematischen Einschränkungen der Perzentilschätzung und die Regression zur Mitte erklärbar. Replikationsstudien mit besser kontrollierten Methoden finden kleinere Effekte.
• Der vorgeschlagene Mechanismus, das metakognitive Defizit, ist plausibel und durch verwandte Forschung gestützt, ist aber schwerer zu beweisen als das Verhaltensmuster selbst.
• Der Effekt ist domänenspezifisch, aufgabenspezifisch und unter Laborbedingungen gemessen. Ihn auf politisches Verhalten, Arbeitsplatzdynamiken oder Diskurse in sozialen Medien zu extrapolieren, erfordert Annahmen, die die Forschung nicht stützt.

Der Dunning-Kruger-Effekt existiert. Er ist nur kleiner, bedingter und symmetrischer als die Version, die zur Kurzformel für „dieser selbstsichere Idiot weiß nicht, wie inkompetent er ist” geworden ist.

Warum die Meme-Version fortbesteht

Das ist eine Frage, die die Dunning-Kruger-Forschung ironischerweise gut beleuchten kann. Die Meme-Version des Dunning-Kruger-Effekts ist befriedigend auf eine Weise, die der eigentliche Befund nicht ist. Sie gibt den Menschen ein Etikett für Verhaltensweisen, die sie ohnehin schon ärgerlich fanden. Sie wirkt erklärend. Sie schafft eine Hierarchie: Sie, die Person, die vom Dunning-Kruger-Effekt weiß, sind vermutlich nicht sein Opfer. Alle anderen schon.

Das ist ein gutes Beispiel für das, was Forscher, die anti-motiviertes DenkenDas aktive Suchen nach Fehlern in Belegen, die auf eine unerwünschte Schlussfolgerung hinweisen, anstatt sie unvoreingenommen zu bewerten. Die Richtung des Denkens wird vor der Analyse festgelegt. untersuchen, als motivierte Akzeptanz beschreiben: Menschen nehmen Forschungsergebnisse, die ihre bestehenden Frustrationen und Weltanschauungen bestätigen, leicht auf und wenden dieselben Ergebnisse selten auf sich selbst an. Der Dunning-Kruger-Effekt, so wie er populär verstanden wird, wird fast immer auf jemand anderen angewendet.

Das Problem des Expertendissenses ist hier ebenfalls relevant. Die Kritiken an der Dunning-Kruger-Methodik existieren in der akademischen Literatur und werden von Forschern seit mindestens 2010 ernsthaft diskutiert. Aber Expertendissens schafft es selten in die populärwissenschaftliche Berichterstattung. Der Befund wurde verstärkt; die Korrekturen nicht.

Eine Anmerkung zur praktischen Bedeutung

All das bedeutet nicht, dass Selbstüberschätzung bei Leistungsschwachen ein Mythos ist. Menschen überschätzen sich tatsächlich, und Novizen tun dies in spezifischen Bereichen zuverlässig stärker als Experten. Wenn Sie für eine technische Stelle einstellen oder Behauptungen in einem Bereich bewerten, in dem Ihnen Expertise fehlt, ist die grundlegende Erkenntnis des Originalartikels weiterhin nützlich: Die Person, die den Job nicht erledigen kann, ist im Vergleich zu einem Expertenbeurteiler auch weniger in der Lage, das zu wissen.

Die praktische Lektion ist enger als das Meme: Seien Sie besonders skeptisch gegenüber selbstsicheren Selbsteinschätzungen in Bereichen, in denen der Person nachgewiesene Kompetenz fehlt, und erkennen Sie, dass Expertise dazu neigt, ein Bewusstsein dafür zu bringen, was man nicht weiß. Das Korollar, nämlich dass Sie auch den Unterschätzungseffekt bei Experten im Blick behalten sollten, ist ebenso handlungsrelevant: Qualifizierte Menschen verkaufen sich oft unter Wert, besonders im Vergleich zu lauten, weniger qualifizierten Stimmen.

Die Forschung verdient es, ernst genommen zu werden. Genau deshalb lohnt es sich, sie richtig zu verstehen.

Quellen

• Kruger, J. & Dunning, D. (1999). Unskilled and Unaware of It: How Difficulties in Recognizing One’s Own Incompetence Lead to Inflated Self-Assessments. Journal of Personality and Social Psychology
• Nuhfer, E. et al. (2016). Random Number Simulations Reveal How Random Noise Affects the Measurements and Graphical Portrayals of Self-Assessed Competency: Numeracy, Vol. 9
• Nuhfer, E. et al. (2017). How Random Noise and a Graphical Convention Subverted Behavioral Scientists’ Explanations of Self-Assessment Data: Numeracy, Vol. 10
• Yarkoni, T. (2010). What the Dunning-Kruger effect Is and Isn’t (discussion of statistical artifacts in psychology self-assessment research, widely cited in subsequent methodological literature)
• Gignac, G.E. & Zajenkowski, M. (2020). The Dunning-Kruger effect is (mostly) a statistical artefact: Valid approaches avoid inferring self-assessment bias from social comparisons. Intelligence