Wenn Zahlen lügen: Wie Datenerhebungsverzerrungen Phantomepidemien erzeugen

Der Chef bat uns, etwas scheinbar Einfachem nachzugehen: Was passiert, wenn sich die Art, wie wir Dinge zählen, ändert, wir aber so tun, als wäre nichts? Die Antwort lautet: Wir erschrecken uns zu Tode.

Datenerhebungsverzerrungen gehören zu den am meisten unterschätzten Kräften, die öffentliche Debatten prägen. Der Mechanismus ist einfach: Man ändert die Messmethode, vergleicht dann die neuen Zahlen mit den alten, als ob sich nichts geändert hätte. Das Ergebnis ist ein Phantomtrend, ein statistisches Gespenst, das wie eine echte Verschiebung der Realität aussieht, aber tatsächlich nur eine Verschiebung in der Buchführung ist.

Das ist kein Randproblem. Es betrifft die Klimaforschung, die Medizin, Kriminalstatistiken und die Armutsmessung. Und es hat reale Folgen, denn Politik, die auf Phantomtrends basiert, ist auf Sand gebaut.

Datenerhebungsverzerrungen und die Autismus-„Epidemie”

Im Jahr 2000 stellte das CDC fest, dass etwa 1 von 150 amerikanischen Achtjährigen eine Autismusdiagnose hatte. Nach den neuesten Zahlen ist es 1 von 31, fast eine Verfünffachung. Schlagzeilen haben von einer Epidemie gesprochen. Einige Behörden haben es eine Tragödie genannt.

Doch die Definition von Autismus hat sich im selben Zeitraum dramatisch gewandelt. Bis 1980 klassifizierte das DSM, was wir heute Autismus nennen, als „Schizophrenie, kindlicher Typ”. 1987 wurden die Kriterien erweitert. 1994 erschien das Asperger-Syndrom als eigenständige Diagnose. 2013 wurde es unter dem breiteren Begriff „Autismus-Spektrum-Störung” zusammengefasst, und zum ersten Mal konnte ein Kind gleichzeitig eine Autismus- und eine ADHS-Diagnose erhalten.

Eine wegweisende Studie von 2015 in JAMA Pediatrics untersuchte dänische Kinder, die zwischen 1980 und 1991 geboren wurden, und stellte fest, dass 60 % des Anstiegs der Autismusprävalenz allein durch Änderungen der Diagnosekriterien und Meldepraxis erklärt werden konnte. Eine separate Studie der Columbia University ergab, dass über ein Viertel des Anstiegs der Autismusfälle in Kalifornien zwischen 1992 und 2005 auf Personen zurückzuführen war, die zuvor mit einer geistigen Behinderung diagnostiziert und als autistisch reklassifiziert wurden.

Nichts davon bedeutet, dass Autismus nicht real ist oder dass die Prävalenz gar nicht gestiegen ist. Umweltrisikofaktoren wie Luftverschmutzung und höheres Elternalter spielen wahrscheinlich eine Rolle. Aber die Schlagzeilen tun etwas, was die zugrunde liegenden Daten nicht tun: Sie vergleichen Äpfel mit Birnen und nennen das einen Trend.

Meerestemperaturen und das Eimerproblem

Jahrhundertelang maßen Seeleute die Meeresoberflächentemperatur, indem sie einen Eimer ins Meer warfen und ein Thermometer hineinsteckten. Das Problem: Nicht alle Eimer sind gleich. Ein Leinwandeimer, der drei Minuten auf Deck liegt, kühlt unter gleichen Bedingungen um etwa 0,5 Grad Celsius mehr ab als ein Holzeimer. Da die gesamte globale Erwärmung im 20. Jahrhundert etwa 1 Grad betrug, ist ein halber Grad Messfehler erheblich.

Erschwerend kam hinzu, dass verschiedene Nationen zu verschiedenen Zeiten unterschiedliche Eimer verwendeten. Japanische Fischereifahrzeuge vor 1932 zeichneten Temperaturen in ganzen Fahrenheit-Graden auf, die später in Celsius umgerechnet wurden. Als die US-Luftwaffe japanische Marineaufzeichnungen aus den späten 1930er Jahren digitalisierte, kürzte sie die Daten und entfernte Dezimalstellen. Das Ergebnis war eine scheinbar rasche Abkühlung im Pazifik, die nie stattgefunden hatte.

Eine Studie von 2024 in Nature stellte fest, dass bestehende Meeresoberflächentemperaturaufzeichnungen von 1900 bis 1930 um etwa 0,26 Grad Celsius zu kalt sind. Das ändert nichts an unserem Verständnis der gesamten globalen Erwärmung seit Mitte des 19. Jahrhunderts, verändert aber die Form der Erwärmungskurve: Der Erwärmungstrend des frühen 20. Jahrhunderts erscheint gradueller und weniger rätselhaft als bisher.

Die Schlussfolgerung lautet nicht, dass Klimadaten unzuverlässig sind. Vielmehr haben Wissenschaftler Jahrzehnte damit verbracht, diese Verzerrungen sorgfältig zu korrigieren. Wer rohe historische Daten mit modernen Messungen vergleicht, ohne die Korrekturen zu verstehen, begeht einen grundlegenden Kategorienirrtum.

Krebsvorsorge und die Vorlaufzeit-Falle

Stellen Sie sich einen Mann vor, der mit 60 Jahren Lungenkrebs entwickelt, ohne es zu wissen. Mit 67 treten Symptome auf. Er wird diagnostiziert und stirbt mit 70. Überlebenszeit nach Diagnose: drei Jahre.

Nun stellen Sie sich vor, ein Screening entdeckt den Krebs mit 60. Er stirbt trotzdem mit 70. Überlebenszeit nach Diagnose: zehn Jahre. Die Fünfjahresüberlebensrate steigt von 0 % auf 100 %, ohne dass auch nur ein einziger Tag zu seinem Leben hinzugekommen ist.

Das ist der Vorlaufzeit-Bias (englisch „lead-time bias”), eines der kontraintuitiven Probleme in der Medizin. Vorsorgeuntersuchungen lassen Überlebensstatistiken besser aussehen, auch wenn sie nichts bewirken, weil sie den Startpunkt der Messung nach hinten verschieben.

Ein verwandtes Problem ist die ÜberdiagnoseErkennung von Erkrankungen, die im Leben eines Patienten nie Symptome oder Schäden verursacht hätten, häufig durch Screening-Programme, die langsam wachsende Erkrankungen aufdecken.: Das Screening findet langsam wachsende Krebsarten, die nie Symptome verursacht hätten. Das NCI schätzt, dass 19 % der durch Screening entdeckten Brustkrebsfälle und 20 bis 50 % der durch Screening entdeckten Prostatakrebsfälle in diese Kategorie fallen.

Südkorea bietet das eindrucksvollste Beispiel. Nachdem die Regierung 1999 Krebsvorsorgeuntersuchungen finanzierte, begannen Leistungserbringer, Schilddrüsenultraschall hinzuzufügen. Bis 2011 hatten sich Schilddrüsenkrebsdiagnosen verfünfzehnfacht. Die Sterblichkeit durch Schilddrüsenkrebs blieb unverändert. Fast alle neu entdeckten Tumoren waren kleine, langsam wachsende papilläre Karzinome unter 2 Zentimeter. Zehntausende Menschen wurden operiert, obwohl sie es nicht brauchten, für Krebsarten, die ihnen nie geschadet hätten.

Kriminalstatistiken: Anders zählen, nicht mehr zählen

2021 ersetzte das FBI sein altes Zusammenfassendes Meldesystem (SRS) durch das Nationale Incident-basierte Meldesystem (NIBRS). Nach dem alten System wurde bei einem Bankraub mit Autodiebstahl und Zeugenbedrohung nur das schwerste Delikt (der Raub) gezählt. Nach NIBRS werden alle drei erfasst.

Das vorhersehbare Ergebnis: Kriminalitätszahlen können unter NIBRS höher erscheinen, nicht weil mehr Kriminalität stattfindet, sondern weil mehr davon erfasst wird. Das FBI selbst warnte, dass der Übergang Jahresvergleiche unzuverlässig machen würde. Erschwerend kam hinzu, dass 2021 die Bevölkerungsabdeckung von etwa 95 % auf 65 % sank, weil viele Behörden noch nicht umgestellt hatten.

Das ist dasselbe Muster, das wir überall sehen: Ein Methodenwechsel erzeugt den Anschein einer Realitätsveränderung.

Welche Fragen man stellen sollte, wenn Zahlen sich verschieben

Datenerhebungsverzerrungen sind keine Verschwörung. In den meisten Fällen ist die neue Messmethode tatsächlich besser. Moderne Autismuskriterien erfassen Menschen, die schon immer autistisch waren, aber falsch diagnostiziert oder übersehen wurden. NIBRS liefert ein vollständigeres Bild der Kriminalität als die Hierarchieregel. Wissenschaftler, die Meeresoberflächentemperaturaufzeichnungen korrigieren, machen Daten genauer, nicht ungenauer.

Das Problem liegt nicht in der Messung. Es liegt im Vergleich. Wenn Sie eine dramatische Trendkurve sehen, können drei Fragen durch den Lärm schneiden:

• Hat sich die Definition geändert? (Autismus, Armutsgrenzen, Verbrechenskategorien)
• Hat sich das Instrument geändert? (Eimer zu Motorkühlwasserentnahmen, Stevenson-Screens zu automatischen Wetterstationen)
• Hat sich der Beobachtungsaufwand geändert? (Krebsvorsorge, breitere Diagnoseabdeckung)

Wenn die Antwort auf eine dieser Fragen ja lautet, erzählt die Trendkurve zwei Geschichten gleichzeitig: eine über die Realität und eine darüber, wie wir sie beobachten. Diese beiden zu entwirren ist die schwierigste und wichtigste Aufgabe in der Statistik.

Der Chef lenkte uns auf ein Thema, das an der Schnittstelle von Erkenntnistheorie und öffentlicher Politik liegt: Was passiert mit Trenddaten, wenn sich der zugrunde liegende Messapparat ändert? Die kurze Antwort: Datenerhebungsverzerrungen erzeugen Phantomsignale, und diese Signale treiben reale Entscheidungen an.

Datenerhebungsverzerrungen, je nach Kontext auch Messverzerrungen oder Ascertainment Bias (Erfassungsverzerrung) genannt, entstehen, wenn systematische Änderungen in der Datenerhebung den Anschein von Veränderungen im gemessenen Phänomen erzeugen. Sie unterscheiden sich vom zufälligen Fehler, der Datenpunkte unvorhersehbar streut. Systematische Verzerrungen schieben sie beständig in eine Richtung und neigen dazu, sich im Laufe der Zeit zu verstärken.

Was folgt, ist eine domänenübergreifende Bestandsaufnahme, wie sich dies in der Praxis auswirkt, aus Klimaforschung, Epidemiologie, Onkologie und Strafjustiz.

Datenerhebungsverzerrungen bei der Autismusprävalenz: Diagnostische SubstitutionWenn Personen, die früher eine bestimmte Diagnose erhalten hätten, nun unter einem anderen Begriff klassifiziert werden, was die Prävalenzzahlen beeinflusst. und Akkretion

Das Autismus- und Entwicklungsstörungsüberwachungsnetz des CDC verfolgt die Autismusprävalenz seit 2000, als die Rate bei etwa 1 von 150 Achtjährigen lag. Die neuesten Daten zeigen 1 von 31, eine fast fünffache Zunahme der Prävalenz in zwei Jahrzehnten.

Die Diagnoselandschaft hat sich mindestens ebenso dramatisch verändert. Das DSM-III (1980) führte „infantilen Autismus” als von der Kindheitsschizophrenie getrennte Kategorie ein. Das DSM-III-R (1987) erweiterte die Kriterien in drei Bereichen: soziale Interaktion, Kommunikation und eingeschränkte Aktivitäten. Das DSM-IV (1994) fügte das Asperger-Syndrom hinzu. Das DSM-5 (2013) fasste alles unter „Autismus-Spektrum-Störung” zusammen und, entscheidend, strich das Ausschlusskriterium, das eine gleichzeitige Autismus- und ADHS-Diagnose verhindert hatte.

Zwei rigorose Studien haben versucht, den Beitrag dieser Änderungen zu quantifizieren. Hansen et al. (2015), veröffentlicht in JAMA Pediatrics, nutzten eine bevölkerungsbasierte Kohorte von 677.915 dänischen Kindern, die zwischen 1980 und 1991 geboren wurden. Mit einem stratifizierten Cox-Proportional-Hazards-Modell, bei dem Diagnoseänderungen als zeitabhängige Kovariaten modelliert wurden, stellten sie fest, dass 60 % des Anstiegs der ASS-Prävalenz (95 %-KI: 33 %-87 %) auf zwei Meldeänderungen zurückzuführen waren: eine Änderung der Diagnosekriterien 1994 und die Einbeziehung ambulanter Kontakte 1995.

King und Bearman (2009), die mit 7.003 kalifornischen DDS-Patientenakten arbeiteten, führten eine nützliche Unterscheidung ein zwischen diagnostischer Substitution (Patient wechselt von Diagnose X zu Diagnose Y) und diagnostischer Akkretion (Patient behält Diagnose X und erwirbt Y als Komorbidität). Sie stellten fest, dass 26,4 % des Anstiegs der Autismusfälle zwischen 1992 und 2005 einzig auf Personen zurückzuführen war, die zuvor mit einer geistigen Behinderung diagnostiziert worden waren und anschließend eine Autismusdiagnose erhielten, wobei die Wahrscheinlichkeit eines Diagnosewechsels in Zeiten veränderter Diagnosepraktiken um das 1,55- bis 1,82-fache erhöht war.

Ein weiteres Indiz: Die Autismusprävalenz variiert je nach Bundesstaat erheblich, von 53,1 pro 1.000 in Kalifornien bis 9,7 pro 1.000 in Texas. Der eigene Bericht des CDC führt dies hauptsächlich auf Unterschiede in der Screening-Intensität zurück, nicht auf echte Unterschiede in der zugrunde liegenden Prävalenz.

Das schließt einen echten Anstieg nicht aus. Höheres Elternalter, Luftverschmutzung während der Schwangerschaft und verbesserte Neugeborenenversorgung für Frühgeborene sind alle plausible Einflussfaktoren. Aber das Signal ist ohne sorgfältige statistische Zerlegung nicht vom Rauschen der Diagnoseänderungen zu trennen.

Meeresoberflächentemperatur: Eimer, Motorkühlwasserentnahmen und Datenabschneidung

Die globale Aufzeichnung der Meeresoberflächentemperatur (SST), die von der NOAA als Extended Reconstructed SST (ERSST)-Datensatz gepflegt wird, reicht bis 1854 zurück und stützt sich auf über 155 Millionen Beobachtungen von Schiffen aller Art. Die Herausforderung besteht darin, dass sich die Messmethoden in diesem Zeitraum grundlegend geändert haben, und jede Methode trägt ihre eigene systematische Verzerrung.

Vor dem Zweiten Weltkrieg verwendeten die meisten SST-Messungen Eimerprobenahmen. Der Übergang von Holzeimern zu Leinwandeimern gegen Ende des 19. Jahrhunderts führte zu einer Kaltverzerrung, weil Leinwandeimer Wärme durch Verdunstung schneller abgeben. Forscher der Harvard University quantifizierten dies: Ein Leinwandeimer, der drei Minuten unter normalen Bedingungen auf Deck liegt, zeigt etwa 0,5 Grad Celsius weniger an als ein Holzeimer. Nach dem Krieg wurden Motorkühlwasserentnahmemessungen dominant, was eine Warmverzerrung von 0,1 bis 0,5 Grad Celsius durch Motorwärme einführte.

Ein besonders aufschlussreicher Fall stammt aus dem Pazifik. Chan et al. (2019), in Nature veröffentlicht, stellten fest, dass japanische Fischereifahrzeugaufzeichnungen vor 1932 in ganzen Fahrenheitgraden aufgezeichnet, in Celsius umgerechnet und dann gerundet wurden. Als japanische Marineaufzeichnungen aus den späten 1930er Jahren von der US-Luftwaffe digitalisiert wurden, wurden die Celsius-Dezimalstellen vollständig abgeschnitten. Das erzeugte eine scheinbar rasche Abkühlung im Pazifik zwischen 1935 und 1941, die ein reines Datenverarbeitungsartefakt war.

Im Nordatlantik dominierten deutsche Schiffe Ende der 1920er Jahre die Datenerhebung. Ihre Messungen, konzentriert in einem einzigen Daten-„Deck”, lagen systematisch wärmer als die der Nachbarschiffe, was eine scheinbare regionale Erwärmung erzeugte, die teilweise auf Messverzerrungen zurückzuführen war.

Eine Nature-Studie von 2024 von Dobrynin et al. bestätigte ein breiteres Muster: SST-Aufzeichnungen von 1900 bis 1930 weisen eine durchschnittliche Kaltverzerrung von etwa 0,26 Grad Celsius gegenüber unabhängig rekonstruierten landbasierten Temperaturen auf. Die Korrektur dieser Verzerrung ändert die Schätzungen der Gesamterwärmung seit Mitte des 19. Jahrhunderts nicht, verändert aber die Form der Erwärmungskurve erheblich: Die Erwärmung des frühen 20. Jahrhunderts wird gradueller, die dekadische Variabilität nimmt ab, und die Übereinstimmung zwischen Modellsimulationen und Beobachtungen verbessert sich.

Separat stellte ein GAO-Bericht von 2011 fest, dass 42 % der aktiven Stationen des U.S. Historical Climatology Network NOAAs eigene Standortstandards nicht erfüllten, die einen Mindestabstand von befestigten Flächen und Hindernissen vorschreiben. NOAAs eigene Analysen haben jedoch gezeigt, dass schlecht platzierte Stationen langfristige Temperaturtrends nach Korrekturen nicht wesentlich verzerren, was der Vollständigkeit halber erwähnt werden sollte.

Krebsepidemiologie: Vorlaufzeit-Bias, ÜberdiagnoseErkennung von Erkrankungen, die im Leben eines Patienten nie Symptome oder Schäden verursacht hätten, häufig durch Screening-Programme, die langsam wachsende Erkrankungen aufdecken. und das Will-Rogers-PhänomenStatistisches Artefakt, bei dem die Umklassifizierung von Patienten in höhere Krankheitsstadien die Überlebensraten beider Gruppen verbessert, ohne dass ein Patient wirklich besser dasteht.

Medizinisches Screening führt gleichzeitig mehrere Schichten von Datenerhebungsverzerrungen ein, weshalb die Onkologie einige der klarsten Beispiele dafür geliefert hat, wie Messartefakte mit echten Trends verwechselt werden.

Der Vorlaufzeit-Bias tritt auf, wenn das Screening das Diagnosedatum vorverlagert, ohne das Sterbedatum zu ändern. Wie das NCI erläutert: Ein Mann, der mit 67 Jahren an Lungenkrebs diagnostiziert wird und mit 70 stirbt, hat eine Fünfjahresüberlebensrate von 0 %. Screenen Sie denselben Mann mit 60, und er stirbt trotzdem mit 70, aber die Fünfjahresüberlebensrate beträgt nun 100 %. Kein Leben wurde verlängert; nur das Beobachtungsfenster wurde verschoben.

Überdiagnose ist der Extremfall: Das Screening entdeckt Krebserkrankungen, die so langsam wachsen, dass sie nie Symptome verursacht hätten. Dunn et al. (2022), im Journal of the National Cancer Center, überprüfen die Evidenz für mehrere Krebsarten. Studien schätzen, dass 19 % der durch Screening entdeckten Brustkrebsfälle und 20 bis 50 % der durch Screening entdeckten Prostatakrebsfälle überdiagnostiziert sind. Das Neuroblastom-Screening-Programm in Japan entdeckte Tumoren, die spontan regredierten, und wurde eingestellt, nachdem bevölkerungsbasiertes Screening die Sterblichkeit nicht senken konnte.

Südkorea liefert die eindrucksvollste Fallstudie. Nachdem die Regierung 1999 ein nationales Krebsvorsorge-Programm startete, fügten honorarbasierte Leistungserbringer Schilddrüsenultraschall hinzu. Bis 2011 hatten sich Schilddrüsenkrebsdiagnosen gegenüber dem Stand von 1993 verfünfzehnfacht. Die Sterblichkeit war unverändert. Eine landesweite Studie stellte fest, dass 94,4 % des Anstiegs aus Tumoren kleiner als 2 Zentimeter bestand, und 97,1 % waren lokale oder regionale Krebserkrankungen. Nach öffentlichen Aufklärungskampagnen gingen Schilddrüsenoperationen um 35 % innerhalb eines einzigen Jahres zurück.

Das Will-Rogers-Phänomen, von Feinstein et al. 1985 beschrieben, fügt eine weitere Schicht hinzu: Wenn verbesserte Diagnostik Patienten von niedrigeren auf höhere Stadien reklassifiziert, scheinen die Überlebensstatistiken beider Stadien zu steigen, obwohl kein Patient tatsächlich besser dran ist. Der Name leitet sich von Will Rogers’ Bonmot ab, dass wenn die Okies Oklahoma Richtung Kalifornien verließen, sie das Durchschnittsintelligenz beider Staaten erhöhten.

Datenerhebungsverzerrungen in der Kriminalstatistik: Der NIBRS-Übergang

Der Übergang des FBI im Jahr 2021 vom Zusammenfassenden Meldesystem (SRS) zum Nationalen Incident-basierten Meldesystem (NIBRS) illustriert einen Lehrbuchfall methodologischer Diskontinuität.

Nach SRS wurde ein einzelner Vorfall nach dem schwersten Delikt (die „Hierarchieregel”) klassifiziert. Ein Raub-Angriff-Diebstahl-Vorfall zählte als ein Raub. Nach NIBRS werden alle Delikte in einem Vorfall erfasst, bis zu zehn pro Ereignis. NIBRS erfasst auch Deliktstypen, die SRS überhaupt nicht verfolgte, darunter Einschüchterung, Menschenhandel und Entführung.

Die unmittelbare statistische Folge: Nach NIBRS gemeldete Kriminalitätszahlen können für identische Kriminalitätsniveaus höher sein als SRS-Zahlen. Der eigene Bericht des FBI von 2015 räumte ein, dass Behörden befürchteten, „die Öffentlichkeit, Medien und Regierungsvertreter würden die scheinbare Veränderung der Kriminalität fehlinterpretieren und den Anstieg der Zahlen einem Versagen der Polizeiführung zuschreiben, anstatt einer Änderung in der Meldeweise”.

Das Problem wurde durch den unvollständigen Übergang 2021 verschärft. Die Bevölkerungsabdeckung sank von etwa 95 % auf 65 %, weil viele Behörden noch nicht umgestellt hatten. Das schuf eine gleichzeitige Änderung von Methodik und Stichprobenrahmen und machte Vergleiche 2020 zu 2021 für jeden rigorosen Zweck praktisch bedeutungslos.

Das domänenübergreifende Muster

Der gemeinsame Nenner ist einfach: Wenn sich die Messung ändert, bricht die Trendanalyse zusammen. Die spezifischen Mechanismen variieren:

• Diagnostische Expansion: Breitere Kriterien erfassen Fälle, die schon immer existierten (Autismus, ADHS)
• Instrumentensubstitution: Neue Werkzeuge tragen unterschiedliche systematische Verzerrungen (Eimer zu Motorkühlwasserentnahmen, Stevenson-Screens zu automatisierten Wetterstationen)
• Screening-Intensität: Intensiveres Suchen findet mehr von dem, was schon immer da war (Schilddrüsenkrebs, Neuroblastom)
• Meldemethodik: Zählregeln ändern, was in aggregierten Daten sichtbar ist (SRS zu NIBRS, offizielle Armutsmessung zu SPM)
• Datenverarbeitungsartefakte: Digitalisierung, Rundung und Abschneidung führen Fehler ein, die ohne forensische Analyse unsichtbar sind (japanische SST-Aufzeichnungen)

In jedem Fall ist das Korrektiv dasselbe: Gleiches mit Gleichem vergleichen. Wissenschaftler, die den SST-Datensatz korrigieren, tun dies durch die Analyse von Schiffskreuzungen. Epidemiologen tun es, indem sie Diagnoseänderungen als zeitabhängige Kovariaten modellieren. Die breite Öffentlichkeit, die mit einer Schlagzeile über einen dramatischen Trend konfrontiert wird, kann drei Fragen stellen:

1. Hat sich die Definition dessen, was gemessen wird, geändert?
2. Hat sich das Instrument oder die Messmethode geändert?
3. Hat sich die Intensität oder der Umfang der Messung geändert?

Wenn die Antwort auf eine dieser Fragen ja lautet, kodiert die Trendkurve zwei Signale: eines aus der Realität, eines aus dem Messapparat. Sie zu trennen ist mühsame statistische Arbeit. Die Unterscheidung zu ignorieren ist der Weg, auf dem Phantomepidemien entstehen.