Zwei qualifizierte Forscher betrachten denselben Datensatz. Sie wenden legitime, begutachtete Methoden an. Sie gelangen zu gegensätzlichen Schlussfolgerungen. Das ist kein Versagen der Wissenschaft. Es ist ein strukturelles Merkmal der Wissensproduktion, und das Verständnis der Mechanismen hinter der Uneinigkeit unter Experten ist entscheidend für jeden, der Forschung kompetent lesen will.
Die gängige Darstellung behandelt Meinungsverschiedenheiten unter Experten als vorübergehenden Zustand, als etwas, das sich auflöst, sobald „die Wissenschaft sich einig ist”. Doch diese Darstellung übersieht, was die Uneinigkeit tatsächlich antreibt. Die Ursachen sind weder Unwissenheit noch böser Wille (obwohl beides vorkommt). Sie sind in die Architektur der Forschung selbst eingebaut.
Priorabhängiges Denken: Der Ausgangspunkt bestimmt das Ergebnis
Jeder Forscher nähert sich einer Frage mit Vorannahmen, theoretischen Überzeugungen und einer Ausbildung, die seine Interpretation der Daten prägen. Das ist keine Verzerrung im abwertenden Sinne. Es ist ein unvermeidliches Merkmal des Denkens unter Unsicherheit. Zwei Ökonomen, die eine Korrelation zwischen Staatsverschuldung und BIP-Wachstum untersuchen, werden dieselben Daten unterschiedlich gewichten, je nachdem ob ihr theoretischer Rahmen keynesianisch oder neoklassisch ist.
Das eindrücklichste Beispiel für priorbedingte Expertenuneinigkeit stammt aus der Makroökonomie. Im Jahr 2010 veröffentlichten Carmen Reinhart und Kenneth Rogoff „Growth in a Time of Debt” und argumentierten, dass Länder mit einer Staatsverschuldung von über 90 % des BIP ein deutlich negatives Wachstum verzeichneten. Die Studie wurde zu einem Eckpfeiler der Sparpolitik in Europa und den Vereinigten Staaten. 2013 stellten Thomas Herndon, Michael Ash und Robert Pollin an der University of Massachusetts Amherst fest, dass das Ergebnis auf einer Kombination aus Excel-Programmierfehlern, selektiver Datenausschlüssung und unkonventionellen Gewichtungsmethoden beruhte. Nach der Korrektur lag das durchschnittliche BIP-Wachstum hochverschuldeter Länder bei 2,2 % und nicht bei der dramatisch negativen Zahl, die Reinhart und Rogoff berichtet hatten.
Der Programmierfehler machte Schlagzeilen, aber die tiefere Lektion betrifft methodische Entscheidungen. Reinhart und Rogoff schlossen verfügbare Daten aus Australien, Kanada und Neuseeland während der Nachkriegszeit aus, als diese Länder hohe Verschuldung und hohes Wachstum aufwiesen. Dieser Ausschluss war nicht zwangsläufig bewusste Manipulation. Er spiegelte Entscheidungen darüber wider, welche Daten einzubeziehen sind: Entscheidungen, die vom Rahmenwerk der Forscher geprägt waren, was als relevant „zählte”. Andere Vorannahmen, anderer Datensatz, andere Schlussfolgerung.
Der Fett-Zucker-Krieg: Wenn Finanzierung die Fragestellung bestimmt
Wenn Vorannahmen erklären, wie Experten Daten unterschiedlich interpretieren, erklärt Finanzierung etwas noch Grundlegenderes: welche Fragen überhaupt gestellt werden. Die Geschichte der Ernährungswissenschaft bietet ein Paradebeispiel für Expertenuneinigkeit, die jahrzehntelang andauerte, weil bestimmte Geldgeber die Forschung finanzierten.
In den 1960er und 1970er Jahren dominierten zwei Wissenschaftler die Debatte über die Ursachen von Herz-Kreislauf-Erkrankungen. Der amerikanische Physiologe Ancel Keys argumentierte, dass gesättigte Fettsäuren die Ursache seien, gestützt auf seine Sieben-Länder-Studie, die den Fettkonsum mit Herzkrankheitsraten korrelierte. Der britische Physiologe John Yudkin vertrat die These, dass raffinierter Zucker der Hauptverursacher sei. Beide waren qualifiziert. Beide hatten Daten. Beide betrachteten dieselbe Epidemie.
Keys setzte sich durch. Nicht weil seine Beweise schlüssig waren (die Sieben-Länder-Studie zeigte Korrelation, keine Kausalität, und Keys wählte Länder aus, die seine Hypothese stützten, während er jene ausschloss, die ihr widersprachen). Er setzte sich durch, weil die Zuckerindustrie Forschung finanzierte, die den Verdacht auf Fett lenkte. 2016 aufgedeckte Dokumente enthüllten, dass die Sugar Research Foundation Harvard-Wissenschaftlern umgerechnet 50.000 Dollar heutiger Kaufkraft zahlte, um eine Übersichtsarbeit im New England Journal of Medicine zu veröffentlichen, die die Rolle des Zuckers bei Herzkrankheiten herunterspielte und die Schuld auf Nahrungsfett schob. Keys nutzte auch seine institutionelle Macht aggressiv, bezeichnete Yudkins Arbeit als „einen Berg von Unsinn” und beendete damit faktisch dessen Karriere.
Das Ergebnis waren vierzig Jahre Ernährungsrichtlinien, die den Menschen rieten, Fett zu meiden und Kohlenhydrate zu essen: eine Empfehlung, die heute weithin als Mitverursacher der Adipositas-Epidemie anerkannt wird. Yudkins Hypothese, jahrzehntelang abgetan, wurde durch neuere Forschung weitgehend bestätigt. Dies war kein Fall, in dem ein Experte von Anfang an recht hatte und der andere nicht. Es war ein Fall, in dem strukturelle Anreize bestimmten, welche Forschungsrichtung Finanzierung, institutionelle Unterstützung und Zugang zu Fachzeitschriften erhielt, und welcher all dies verwehrt blieb.
Überlebensverzerrung in veröffentlichter Forschung
Selbst wenn die Finanzierung sauber und die Vorannahmen transparent sind, erzeugt das Publikationssystem selbst Expertenuneinigkeit durch Überlebensverzerrung. Studien mit statistisch signifikantem Ergebnis werden weitaus häufiger veröffentlicht als solche, die nichts finden. Das ist das „Schubladenproblem”: Nullergebnisse verschwinden in Schubladen, während positive Befunde die Zeitschriften füllen.
2005 veröffentlichte der Stanford-Epidemiologe John Ioannidis „Why Most Published Research Findings Are False” in PLOS Medicine und argumentierte, dass die Kombination aus Publikationsverzerrung, kleinen Stichproben, flexiblen statistischen Methoden und finanziellen Anreizen bedeute, dass die Mehrheit der veröffentlichten Ergebnisse wahrscheinlich falsch-positiv sei. Die Arbeit wurde tausendfach zitiert und trug dazu bei, das auszulösen, was heute als ReplikationskriseEin anhaltendes methodisches Problem in der Wissenschaft: Viele veröffentlichte Befunde lassen sich von unabhängigen Forschern nicht reproduzieren, was das Vertrauen in die Fachliteratur untergräbt. bekannt ist.
Der Mechanismus ist einfach. Man stelle sich zwanzig Forschungsteams vor, die unabhängig voneinander testen, ob ein bestimmter Lebensmittelzusatzstoff Krebs verursacht. Allein durch Zufall wird bei der Standard-Schwelle von p < 0,05 ein Team ein „signifikantes” Ergebnis finden. Dieses Team veröffentlicht. Die neunzehn Teams, die nichts gefunden haben, tun dies nicht. Ein Leser der Fachliteratur sieht nun eine veröffentlichte Studie, die folgert, der Zusatzstoff verursache Krebs, und null Studien, die zum gegenteiligen Schluss kommen. Expertenuneinigkeit entsteht hier nicht durch unterschiedliche Interpretationen derselben Daten, sondern durch ein Publikationssystem, das filtert, welche Daten überhaupt sichtbar werden.
Methodische Entscheidungen, die Ergebnisse vorherbestimmen
Forscher treffen Dutzende von Entscheidungen, bevor sie überhaupt ihre Ergebnisse betrachten. Welche Variablen kontrolliert werden. Welcher Zeitraum analysiert wird. Welches statistische Modell verwendet wird. Welche Ausreißer ausgeschlossen werden. Diese werden als „Freiheitsgrade des Forschers” bezeichnet, und sie sind mächtig genug, um dieselben Rohdaten in widersprüchliche Befunde zu verwandeln.
Eine 2018 in Advances in Methods and Practices in Psychological Science veröffentlichte Studie gab 29 Forschungsteams denselben Datensatz und dieselbe Forschungsfrage (ob Fußballschiedsrichter dunkelhäutigen Spielern häufiger rote Karten geben). Die Teams verwendeten unterschiedliche, aber vertretbare analytische Ansätze. Ihre Ergebnisse reichten von keinem signifikanten Effekt bis zu einem großen und signifikanten Effekt. Dieselben Daten. Dieselbe Frage. Neunundzwanzig qualifizierte Teams. Kein Konsens.
Dies ist vielleicht der beunruhigendste Mechanismus hinter der Expertenuneinigkeit. Es geht nicht um Betrug, Verzerrung oder Finanzierung. Es geht darum, dass sich legitime analytische Entscheidungen, jede einzelne für sich vernünftig, zu dramatisch unterschiedlichen Ergebnissen summieren. Es gibt keine einzelne „richtige” Methode, um die meisten realen Datensätze zu analysieren. Das bedeutet, dass methodischer Pluralismus, ein Merkmal guter Wissenschaft, von Natur aus Uneinigkeit hervorbringt.
Warum Expertenuneinigkeit kein Fehler ist
Die strukturellen Ursachen von Expertenuneinigkeit zu verstehen bedeutet nicht, dass alle Expertenmeinungen gleich gültig sind oder dass Fachwissen wertlos ist. Es bedeutet, dass man bei zwei qualifizierten Forschern mit gegensätzlichen Schlussfolgerungen gezielte Fragen stellen sollte: Was waren ihre Vorannahmen? Wer hat die Forschung finanziert? Welche methodischen Entscheidungen haben sie getroffen, und hätten andere Entscheidungen das Ergebnis verändert? Wurde der Befund repliziert, oder handelt es sich um eine einzelne veröffentlichte Studie, die das Schubladenproblem überlebt hat?
Expertenuneinigkeit ist kein Beweis dafür, dass die Wissenschaft kaputt ist. Sie ist ein Beweis dafür, dass Wissenschaft schwierig ist, dass die Welt komplex ist und dass der Prozess, eine unordentliche Realität in saubere Schlussfolgerungen zu überführen, bei jedem Schritt menschliche Entscheidungen erfordert. Die Antwort ist nicht, Fachwissen abzulehnen. Die Antwort ist, die Mechanismen dahinter gut genug zu verstehen, um es kritisch lesen zu können.
Quellen
- Ioannidis, J. P. A. (2005). “Why Most Published Research Findings Are False.” PLOS Medicine. PLOS Medicine
- Herndon, T., Ash, M., & Pollin, R. (2014). “Does High Public Debt Consistently Stifle Economic Growth? A Critique of Reinhart and Rogoff.” Cambridge Journal of Economics, 38(2), 257-279. Cambridge Journal of Economics
- Meach, R. (2018). “From John Yudkin to Jamie Oliver: A Short but Sweet History on the War against Sugar.” In Gentilcore, D. and Smith, M. (eds.), Proteins, Pathologies and Politics. NCBI Bookshelf
- Silberzahn, R., et al. (2018). “Many Analysts, One Data Set: Making Transparent How Variations in Analytic Choices Affect Results.” Advances in Methods and Practices in Psychological Science, 1(3), 337-356.
