L’effondrement des modèles est un phénomène critique qui se produit lorsque les systèmes d’intelligence artificielle s’entraînent sur du contenu généré par d’autres IA, entraînant une dégradation des résultats à chaque génération. Des chercheurs ont soumis un modèle de langage à une requête sur l’architecture médiévale anglaise. À la neuvième génération d’entraînement sur ses propres sorties, le modèle produisait des textes sur des lièvres aux queues de couleurs différentes[s]. Ce n’est pas une métaphore : c’est le résultat d’une étude revue par des pairs, illustrant parfaitement les dangers de l’effondrement des modèles.
Comment fonctionne l’effondrement des modèles
Chaque modèle d’IA générative, qu’il produise du texte, des images ou du son, apprend en identifiant des schémas dans ses données d’entraînement. Lorsque ces données proviennent du monde réel, le modèle capture toute la richesse de l’expression humaine : les schémas courants, les cas marginaux rares, les perspectives inhabituelles. Mais lorsque la génération suivante s’entraîne sur les sorties de la précédente, quelque chose se brise. Les schémas rares disparaissent en premier[s].
Imaginez photocopier une photocopie. La première copie ressemble presque à l’original. La deuxième copie de la copie est légèrement floue. À la dixième, les détails fins ont disparu, le contraste s’est aplati, et il ne reste qu’une approximation floue de ce que vous aviez au départ. L’effondrement des modèles suit la même trajectoire, mais avec des distributions de données au lieu d’encre.
Des chercheurs de l’Université d’Oxford et d’autres institutions britanniques et canadiennes ont publié l’étude fondatrice sur l’effondrement des modèles dans Nature en 2024[s]. Dirigée par Ilia Shumailov, l’équipe a démontré que l’utilisation indiscriminée de contenu généré par IA dans l’entraînement « provoque des défauts irréversibles dans les modèles résultants, où les queues de la distribution originale disparaissent ». Ils ont identifié deux phases distinctes : l’effondrement des modèles précoce, où les événements rares et les points de vue minoritaires s’effacent des données, et l’effondrement des modèles tardif, où la sortie converge vers quelque chose qui n’a plus grand-chose à voir avec la réalité.
Pourquoi l’effondrement des modèles est crucial aujourd’hui
Internet se remplit rapidement de contenu généré par IA. Une analyse d’Ahrefs portant sur neuf cent mille nouvelles pages web créées en avril 2025 a révélé que 74,2 % contenaient du contenu généré par IA[s]. Une déclaration désormais retirée d’un ancien rapport d’Europol sur les deepfakes a été largement rapportée comme estimant que jusqu’à 90 % du contenu en ligne pourrait être synthétique d’ici 2026, mais Europol a ensuite indiqué que cette déclaration provenait d’une source inexacte et l’a supprimée de la version actuelle[s][s].
Cela pose problème, car la plupart des grands modèles de langage s’entraînent sur des données collectées sur le web. Si le web est de plus en plus composé de sorties d’IA, les modèles futurs s’entraîneront inévitablement sur les productions de leurs prédécesseurs. La boucle de rétroaction se resserre à chaque génération. Nature a décrit l’effondrement des modèles comme un « phénomène cannibale » qui « pourrait stopper l’amélioration des grands modèles de langage »[s].
Le problème dépasse le texte. Bohacek et Farid ont montré que les modèles générateurs d’images réentraînés sur même de petites quantités de leurs propres sorties produisent des « images fortement déformées », et que les dégâts persistent même après un réentraînement exclusif sur des images réelles[s]. Une fois que l’effondrement des modèles s’installe, il est difficile de l’inverser.
Ce qui disparaît en premier
L’aspect le plus insidieux de l’effondrement des modèles est ce qui s’efface en premier : les queues de la distribution. Concrètement, cela signifie les maladies rares dans les données médicales, les dialectes minoritaires dans les données linguistiques, les styles artistiques inhabituels dans les données visuelles, et les perspectives de niche dans les données textuelles. Les modèles ne deviennent pas visiblement défectueux du jour au lendemain. Ils deviennent subtilement moyennés, produisant des sorties qui semblent plausibles mais ont discrètement perdu la diversité de l’expérience humaine.
Cela a des conséquences qui vont au-delà des performances de l’IA. Si les systèmes largement utilisés perdent progressivement leur capacité à représenter des schémas peu courants, les connaissances encodées dans ces schémas risquent de disparaître entièrement de l’accès public[s].
Existe-t-il une issue ?
Des chercheurs de Stanford et d’ailleurs ont remis en question les prédictions les plus catastrophiques. Une étude de 2024 dirigée par Matthias Gerstgrasser a montré que l’effondrement des modèles peut être évité si les données synthétiques s’accumulent aux côtés des données réelles originales, plutôt que de les remplacer[s]. Autrement dit, tant que chaque nouvelle génération de données d’entraînement inclut le matériel original généré par des humains ainsi que toutes les générations synthétiques précédentes, l’erreur reste bornée.
Le hic : cela nécessite de savoir quelles données sont générées par des humains et lesquelles sont synthétiques. C’est de plus en plus difficile. L’Initiative de Provenance des Données, un collectif de chercheurs du Massachusetts Institute of Technology (MIT) et d’autres institutions, a audité plus de mille huit cents jeux de données textuelles et constaté des taux d’omission de licence supérieurs à 70 % et des taux d’erreur supérieurs à 50 % sur les plateformes populaires d’hébergement de données[s]. Si nous ne pouvons pas retracer de manière fiable l’origine des données d’entraînement, la stratégie d’accumulation s’effondre dans la pratique.
Le consensus émergent est que la valeur des données vérifiées générées par des humains ne fera qu’augmenter. Les jeux de données pré-IA, produits avant l’existence de modèles génératifs à grande échelle, pourraient devenir certains des actifs les plus précieux en apprentissage automatique. L’effondrement des modèles est un problème soluble en théorie ; que l’industrie de l’IA le résolve en pratique dépendra de la manière dont elle traitera la provenance des données comme une infrastructure, et non comme une réflexion après coup.
L’effondrement des modèles est un processus dégénératif dans lequel des générations successives de modèles génératifs appris, chacun entraîné sur la sortie de ses prédécesseurs, perdent progressivement des informations sur la véritable distribution des données jusqu’à ce que la sortie converge vers une approximation à faible variance n’ayant plus grand-chose à voir avec l’original[s]. Décrit pour la première fois par Shumailov et al. dans une prépublication de 2023[s] et publié dans Nature en 2024, ce phénomène a des implications pour toute organisation collectant des données web pour l’entraînement.
Effondrement des modèles : les fondements mathématiques
Le cadre de Shumailov et al. identifie trois sources d’erreur qui se cumulent et entraînent l’effondrement des modèles. Premièrement, l’erreur d’approximation statistique : un échantillonnage fini signifie que les événements de faible probabilité peuvent disparaître à chaque étape de rééchantillonnage, avec une probabilité non nulle par génération. Deuxièmement, l’erreur d’expressivité fonctionnelle : les réseaux de neurones sont des approximateurs universels seulement lorsque leur taille tend vers l’infini ; en pratique, ils introduisent une vraisemblance non nulle en dehors du support de la distribution originale ou une vraisemblance nulle à l’intérieur. Troisièmement, l’erreur d’approximation fonctionnelle : les limitations des procédures d’apprentissage (biais structurel de la descente de gradient stochastique, choix de la fonction objectif) introduisent une déviation supplémentaire, même avec des données infinies et une expressivité parfaite[s].
Les auteurs le démontrent rigoureusement pour le cas gaussien. Étant donné des données originales avec une variance d’échantillon non nulle, si les générations successives ajustent des estimateurs non biaisés de la moyenne et de la variance de manière récursive, la distance de Wasserstein-2 entre l’approximation de la n-ième génération et la distribution réelle diverge vers l’infini, tandis que la variance s’effondre presque sûrement vers zéro lorsque n tend vers l’infini[s]. Pour les distributions discrètes, le processus se réduit à une chaîne de Markov dont les seuls états absorbants sont les fonctions delta, ce qui signifie que la distribution doit converger vers un seul point avec une probabilité de 1.
Dans l’expérience OPT-125M, l’équipe a affiné le modèle de langage ouvert de Meta sur sa propre sortie sur neuf générations. Partant d’une requête sur l’architecture médiévale anglaise, le modèle de neuvième génération produisait du texte sur des lièvres aux queues colorées[s]. La trajectoire n’est pas une dérive aléatoire ; elle suit la prédiction mathématique : les queues disparaissent en premier (effondrement précoce des modèles), puis toute la distribution s’effondre vers un mode étroit (effondrement tardif des modèles).
L’ampleur du problème de contamination
Une analyse d’Ahrefs portant sur neuf cent mille pages web nouvellement indexées en avril 2025 a révélé que 74,2 % contenaient du contenu généré par IA, seulement 25,8 % étant classées comme « purement humaines »[s]. Une prévision largement reprise selon laquelle 90 % du contenu pourrait être synthétique provenait d’une déclaration qu’Europol a depuis retirée de son rapport sur les deepfakes parce que la source était inexacte[s][s]. Pour toute pipeline d’entraînement ingérant Common Crawl ou des corpus web similaires sans filtrage, l’effondrement des modèles n’est plus un risque théorique ; c’est une crise de qualité des données déjà en cours.
La contamination s’étend aux modèles d’images. Bohacek et Farid ont démontré que les modèles générateurs d’images réentraînés sur même de petites quantités de leurs propres sorties produisent des « images fortement déformées », et, de manière critique, que la distorsion « dépasse les requêtes textuelles utilisées lors du réentraînement »[s]. Les dégâts ne sont pas spécifiques aux requêtes ; ils corrompent les représentations internes des modèles de manière globale. Leur constat selon lequel « une fois affectés, les modèles peinent à se rétablir complètement même après un réentraînement sur des images réelles uniquement » suggère que l’effondrement des modèles pourrait être partiellement irréversible en pratique.
L’argument de l’accumulation
Gerstgrasser et al. (2024) ont remis en question l’inéluctabilité de l’effondrement des modèles en distinguant le remplacement des données de leur accumulation[s]. Le cadre original de Shumailov supposait que les données d’entraînement de chaque génération remplaçaient entièrement celles de la génération précédente (paramètre de mélange βi = γi = 0, αi = 1). Le modèle d’accumulation conserve quant à lui les données réelles originales aux côtés de toutes les générations synthétiques. Dans le cas de la régression linéaire, Gerstgrasser et al. ont prouvé que les données accumulées produisent une erreur de test avec une borne supérieure finie indépendante du nombre d’itérations, ce qui signifie que l’effondrement des modèles ne se produit plus.
Empiriquement, leurs résultats ont tenu pour différentes tailles de modèles, architectures et hyperparamètres, s’étendant aux modèles de diffusion pour la conformation moléculaire et aux auto-encodeurs variationnels pour la génération d’images. C’est un résultat significatif, mais il repose sur une dépendance critique : les données originales générées par des humains doivent être identifiables et préservées.
Le goulot d’étranglement de la provenance
Une provenance fiable des données est le prérequis à la stratégie d’accumulation, et l’écosystème actuel échoue sur ce point. L’Initiative de Provenance des Données a audité plus de mille huit cents jeux de données textuelles et constaté des taux d’omission de licence supérieurs à 70 % et des taux d’erreur supérieurs à 50 % sur les plateformes populaires d’hébergement de données[s]. Si les praticiens ne peuvent pas déterminer si un jeu de données est généré par des humains, par une IA, ou s’il s’agit d’un mélange, ils ne peuvent pas mettre en œuvre l’approche d’accumulation qui prévient l’effondrement des modèles.
L’implication pratique : les corpus d’entraînement pré-IA, collectés avant la prolifération des modèles génératifs à grande échelle, deviennent particulièrement précieux. L’article de Shumailov et al. notait lui-même que « la valeur des données collectées sur les interactions humaines authentiques avec les systèmes sera de plus en plus grande en présence de contenu généré par les grands modèles de langage dans les données collectées sur Internet »[s].
L’effondrement des modèles n’est pas un problème insoluble. Les mathématiques montrent que préserver l’accès aux distributions originales borne l’erreur. Mais le défi technique de maintenir la provenance des données à l’échelle du web, alors que le web lui-même devient de plus en plus synthétique, définit la tension centrale de l’entraînement de l’IA pour un avenir prévisible.
