Modellkollaps KI tritt auf, wenn KI-Systeme mit Inhalten trainiert werden, die von anderen KI-Systemen erzeugt wurden – und die Ergebnisse sich mit jeder Generation verschlechtern. Forscher gaben einem Sprachmodell einen Prompt über mittelalterliche englische Architektur. Nach der neunten Generation des Trainings mit dem eigenen Output schrieb das Modell plötzlich über Jackrabbits mit unterschiedlich gefärbten Schwänzen.[s] Das ist keine Metapher. Das ist ein peer-reviewtes Forschungsergebnis.
Wie Modellkollaps funktioniert
Jedes generative KI-Modell, egal ob es Texte, Bilder oder Audio erzeugt, lernt durch das Erkennen von Mustern in Trainingsdaten. Stammt dieser Trainingsdatensatz aus der realen Welt, erfasst das Modell die gesamte Bandbreite menschlicher Ausdrucksformen: gängige Muster, seltene Randfälle, ungewöhnliche Perspektiven. Doch wenn die nächste Modellgeneration stattdessen mit dem Output der vorherigen Generation trainiert wird, geht etwas kaputt. Die seltenen Muster verschwinden zuerst.[s]
Stellen Sie sich das wie das Kopieren einer Kopie vor. Die erste Kopie sieht fast identisch mit dem Original aus. Die zweite Kopie der Kopie ist schon etwas unschärfer. Nach der zehnten Kopie sind feine Details verschwunden, der Kontrast ist flach, und übrig bleibt eine verschwommene Annäherung an das, womit man begonnen hat. Modellkollaps folgt derselben Entwicklung – nur dass hier keine Tinte, sondern Datenverteilungen betroffen sind.
Forscher der Universität Oxford und weiterer britischer sowie kanadischer Institutionen veröffentlichten die bahnbrechende Studie zum Modellkollaps 2024 in Nature.[s] Unter der Leitung von Ilia Shumailov zeigte das Team, dass der unkritische Einsatz von KI-generierten Inhalten im Training „irreversible Defekte in den resultierenden Modellen verursacht, bei denen die Ränder der ursprünglichen Datenverteilung verschwinden“. Sie identifizierten zwei Phasen: den frühen Modellkollaps, bei dem seltene Ereignisse und Minderheitenperspektiven aus den Daten verschwinden, und den späten Modellkollaps, bei dem der Output zu etwas konvergiert, das kaum noch Ähnlichkeit mit der Realität aufweist.
Warum Modellkollaps KI jetzt relevant ist
Das Internet füllt sich rasant mit KI-generierten Inhalten. Eine Analyse von Ahrefs von 900.000 neu erstellten Webseiten im April 2025 ergab, dass 74,2 Prozent KI-generierte Inhalte enthielten.[s] Eine inzwischen entfernte Aussage in einem früheren Europol-Bericht über Deepfakes wurde vielfach als Schätzung wiedergegeben, dass bis 2026 bis zu 90 Prozent der Online-Inhalte synthetisch sein könnten; Europol erklärte später jedoch, die Aussage stamme aus einer ungenauen Quelle, und entfernte sie aus der aktuellen Version.[s][s]
Dieser Modellkollaps KI ist problematisch, weil die meisten großen Sprachmodelle mit Daten trainiert werden, die aus dem Web gescrapt werden. Wenn das Web zunehmend aus KI-Output besteht, trainieren zukünftige Modelle zwangsläufig mit den Ergebnissen ihrer Vorgänger. Die Feedbackschleife zieht sich mit jeder Generation enger. Nature beschrieb Modellkollaps als „kannibalistisches Phänomen“, das „die Weiterentwicklung großer Sprachmodelle zum Stillstand bringen könnte“.[s]
Das Problem geht über Texte hinaus. Bohacek und Farid zeigten, dass Bildgenerierungsmodelle, die selbst mit kleinen Mengen ihres eigenen Outputs nachtrainiert werden, „stark verzerrte Bilder“ produzieren – und dass der Schaden selbst dann bestehen bleibt, wenn anschließend ausschließlich mit echten Bildern weiter trainiert wird.[s] Sobald Modellkollaps einsetzt, ist er schwer umkehrbar.
Was verloren geht
Der heimtückischste Aspekt des Modellkollapses ist, was zuerst verschwindet: die Ränder der Verteilung. Konkret bedeutet das seltene Krankheiten in medizinischen Daten, Minderheitendialekte in Sprachdaten, ungewöhnliche Kunststile in Bilddaten und Nischenperspektiven in Textdaten. Die Modelle werden nicht offensichtlich kaputt. Sie werden schleichend durchschnittlicher und produzieren Outputs, die plausibel wirken, aber leise die Vielfalt menschlicher Erfahrungen abstreifen.
Das hat Folgen, die über die KI-Leistung hinausgehen. Wenn weit verbreitete Systeme nach und nach ihre Fähigkeit verlieren, seltene Muster abzubilden, droht das Wissen, das in diesen Mustern kodiert ist, vollständig aus dem öffentlichen Zugang zu verschwinden.[s]
Gibt es einen Ausweg?
Forscher aus Stanford und anderen Institutionen haben die düstersten Prognosen infrage gestellt. Eine Studie unter der Leitung von Matthias Gerstgrasser aus dem Jahr 2024 zeigte, dass Modellkollaps vermieden werden kann, wenn synthetische Daten sich neben den ursprünglichen echten Daten ansammeln, statt sie zu ersetzen.[s] Mit anderen Worten: Solange jede neue Generation von Trainingsdaten das ursprüngliche, von Menschen erzeugte Material sowie alle vorherigen synthetischen Generationen enthält, bleibt der Fehler begrenzt.
Der Haken: Dafür muss man wissen, welche Daten von Menschen stammen und welche synthetisch sind. Das wird immer schwieriger. Die Data Provenance Initiative, ein Zusammenschluss von Forschern des MIT und anderer Institutionen, prüfte über 1.800 Textdatensätze und stellte fest, dass auf beliebten Hosting-Plattformen über 70 Prozent der Lizenzen fehlten und die Fehlerquote bei über 50 Prozent lag.[s] Wenn man nicht zuverlässig nachverfolgen kann, woher Trainingsdaten stammen, scheitert die Akkumulationsstrategie in der Praxis.
Der allgemeine Konsens lautet, dass der Wert verifizierter, von Menschen erzeugter Daten weiter steigen wird. Prä-KI-Datensätze – also Inhalte, die entstanden, bevor großflächig generative Modelle existierten – könnten zu den wertvollsten Ressourcen im maschinellen Lernen werden. Modellkollaps ist theoretisch lösbar; ob die KI-Branche das Problem in der Praxis angeht, hängt davon ab, ob sie Datenherkunft als Infrastruktur und nicht als nachträglichen Gedanken behandelt.
Modellkollaps KI ist ein degenerativer Prozess, bei dem aufeinanderfolgende Generationen gelernter generativer Modelle, die jeweils mit dem Output ihrer Vorgänger trainiert werden, schrittweise Informationen über die wahre Datenverteilung verlieren, bis der Output zu einer Approximation mit geringer Varianz konvergiert, die kaum noch Ähnlichkeit mit dem Original aufweist.[s] Erstmals formal von Shumailov et al. in einem Preprint von 2023 beschrieben[s] und 2024 in Nature veröffentlicht, hat das Phänomen Auswirkungen auf jede Organisation, die das Web nach Trainingsdaten durchsucht.
Modellkollaps: Die mathematische Grundlage
Das Framework von Shumailov et al. identifiziert drei sich verstärkende Fehlerquellen, die den Modellkollaps vorantreiben. Erstens der statistische Approximationsfehler: Endliche Stichproben bedeuten, dass Ereignisse mit geringer Wahrscheinlichkeit bei jedem Resampling-Schritt mit einer Wahrscheinlichkeit ungleich null verloren gehen können. Zweitens der funktionale Expressivitätsfehler: Neuronale Netze sind nur im Grenzfall unendlicher Größe universelle Approximatoren; in der Praxis führen sie zu einer Wahrscheinlichkeit ungleich null außerhalb des Trägers der ursprünglichen Verteilung oder zu einer Wahrscheinlichkeit von null innerhalb desselben. Drittens der funktionale Approximationsfehler: Einschränkungen der Lernverfahren (strukturelle Verzerrung von SGD, Wahl der Zielfunktion) führen selbst bei unendlichen Daten und perfekter Expressivität zu weiterer Abweichung.[s]
Die Autoren beweisen dies rigoros für den Gaußschen Fall. Bei ursprünglichen Daten mit einer Stichprobenvarianz ungleich null divergiert der Wasserstein-2-Abstand zwischen der Approximation der n-ten Generation und der wahren Verteilung gegen unendlich, während die Varianz fast sicher gegen null kollabiert, wenn n gegen unendlich geht.[s] Bei diskreten Verteilungen reduziert sich der Prozess auf eine Markov-Kette, deren einzige absorbierenden Zustände Delta-Funktionen sind – die Verteilung muss also mit Wahrscheinlichkeit 1 gegen einen einzelnen Punkt konvergieren.
Im OPT-125M-Experiment feinabgestimmte das Team Metas quelloffenes Sprachmodell über neun Generationen mit seinem eigenen Output. Ausgehend von einem Prompt über mittelalterliche englische Architektur produzierte das Modell der neunten Generation Texte über Jackrabbits mit gefärbten Schwänzen.[s] Die Entwicklung ist kein zufälliger Drift; sie folgt der mathematischen Vorhersage: Zuerst verschwinden die Ränder (früher Modellkollaps), dann kollabiert die gesamte Verteilung zu einem engen Modus (später Modellkollaps).
Das Ausmaß des Kontaminationsproblems
Eine Ahrefs-Analyse von 900.000 neu indizierten Webseiten im April 2025 ergab, dass 74,2 Prozent KI-generierte Inhalte enthielten, während nur 25,8 Prozent als „rein menschlich“ klassifiziert wurden.[s] Eine breit aufgegriffene Prognose, wonach 90 Prozent der Inhalte synthetisch sein könnten, stammte aus einer Aussage, die Europol inzwischen aus seinem Deepfakes-Bericht entfernt hat, weil die Quelle ungenau war.[s][s] Für jede Trainingspipeline, die Common Crawl oder ähnliche webweite Korpora ohne Filterung nutzt, ist Modellkollaps keine theoretische Gefahr mehr – er ist eine bereits laufende Datenqualitätskrise.
Die Kontamination betrifft auch Bildmodelle. Bohacek und Farid zeigten, dass generative Bildmodelle, die selbst mit kleinen Mengen ihres eigenen Outputs nachtrainiert werden, „stark verzerrte Bilder“ produzieren – und entscheidend: Die Verzerrung „geht über die im Retraining verwendeten Textprompts hinaus“.[s] Der Schaden ist nicht prompt-spezifisch; er korrumpiert die internen Repräsentationen des Modells global. Ihre Feststellung, dass „die Modelle selbst nach einem Retraining ausschließlich mit echten Bildern nur schwer vollständig heilen“, deutet darauf hin, dass Modellkollaps in der Praxis teilweise irreversibel sein könnte.
Das Akkumulations-Gegenargument
Gerstgrasser et al. (2024) stellten die Unvermeidbarkeit des Modellkollapses infrage, indem sie zwischen Daten-Ersatz und Daten-Akkumulation unterschieden.[s] Das ursprüngliche Shumailov-Framework ging davon aus, dass die Trainingsdaten jeder Generation die vorherige vollständig ersetzen (Mischparameter βi = γi = 0, αi = 1). Das Akkumulationsmodell behält dagegen die ursprünglichen echten Daten neben allen synthetischen Generationen bei. Im Fall der linearen Regression bewiesen Gerstgrasser et al., dass akkumulierte Daten zu einem Testfehler mit einer endlichen Obergrenze führen, die unabhängig von der Anzahl der Iterationen ist – Modellkollaps tritt also nicht mehr auf.
Empirisch bestätigten sich ihre Ergebnisse über verschiedene Modellgrößen, Architekturen und Hyperparameter hinweg, auch bei Diffusionsmodellen für Molekülkonformationen und VAEs für die Bilderzeugung. Das ist ein bedeutendes Ergebnis, doch es hängt von einer kritischen Voraussetzung ab: Die ursprünglichen, von Menschen erzeugten Daten müssen identifizierbar und erhalten bleiben.
Der Herkunfts-Flaschenhals
Zuverlässige Datenherkunft ist die Voraussetzung für die Akkumulationsstrategie – und das aktuelle Ökosystem scheitert daran. Die Data Provenance Initiative prüfte über 1.800 Textdatensätze und stellte fest, dass auf beliebten Plattformen zur Datenbereitstellung über 70 Prozent der Lizenzen fehlten und die Fehlerquote bei über 50 Prozent lag.[s] Können Praktiker nicht feststellen, ob ein Datensatz von Menschen erzeugt, KI-generiert oder eine Mischung ist, können sie den Akkumulationsansatz, der Modellkollaps verhindert, nicht umsetzen.
Die praktische Implikation: Prä-KI-Trainingskorpora – also Datensätze, die vor der Verbreitung großflächiger generativer Modelle gesammelt wurden – gewinnen zunehmend an Wert. Die Studie von Shumailov et al. selbst stellte fest, dass „der Wert von Daten, die echte menschliche Interaktionen mit Systemen dokumentieren, in Gegenwart von LLM-generierten Inhalten in aus dem Internet gescrapten Daten immer wertvoller wird“.[s]
Modellkollaps ist kein unlösbares Problem. Die Mathematik zeigt, dass die Bewahrung des Zugangs zu ursprünglichen Verteilungen den Fehler begrenzt. Doch die technische Herausforderung, Datenherkunft im Webmaßstab zu gewährleisten, während das Web selbst immer synthetischer wird, definiert die zentrale Spannung im KI-Training für die absehbare Zukunft.
