El colapso de modelos de IA es lo que sucede cuando los sistemas de inteligencia artificial entrenan con contenido producido por otros sistemas de IA, y los resultados se degradan con cada generación debido al colapso de modelos de IA. Los investigadores dieron a un modelo de lenguaje una instrucción sobre arquitectura medieval inglesa. Para la novena generación de entrenamiento con su propio resultado, el modelo escribía sobre liebres norteamericanas con colas de diferentes colores.[s] Eso no es una metáfora. Es un hallazgo revisado por pares.
Cómo Funciona el Colapso de Modelos de IA
Cada modelo de IA generativa, ya sea que produzca texto, imágenes o audio, aprende encontrando patrones en datos de entrenamiento. Cuando esos datos de entrenamiento provienen del mundo real, el modelo captura toda la gama de expresión humana: patrones comunes, casos extremos raros, perspectivas inusuales. Pero cuando la siguiente generación de modelos entrena con el resultado de la generación anterior, algo se rompe. Los patrones raros empiezan a desaparecer primero.[s]
Piénselo como fotocopiar una fotocopia. La primera copia se ve casi idéntica al original. La segunda copia de la copia está ligeramente más borrosa. Para la décima copia, los detalles finos han desaparecido, el contraste se aplana, y lo que queda es una aproximación borrosa de lo que se comenzó. El colapso de modelos de IA sigue la misma trayectoria, pero con distribuciones de datos en lugar de tinta.
Investigadores de la Universidad de Oxford y otras instituciones británicas y canadienses publicaron el estudio fundamental sobre colapso de modelos de IA en Nature en 2024.[s] Liderado por Ilia Shumailov, el equipo demostró que el uso indiscriminado de contenido generado por IA en entrenamiento «causa defectos irreversibles en los modelos resultantes, en los que las colas de la distribución del contenido original desaparecen.» Identificaron dos fases distintas: colapso temprano del modelo, donde eventos raros y puntos de vista minoritarios desvanecen de los datos, y colapso tardío del modelo, donde el resultado converge a algo que tiene poco parecido con la realidad.
Por Qué el Colapso de Modelos de IA Importa Ahora
Internet se está llenando rápidamente de contenido generado por IA. Un análisis de Ahrefs de 900,000 páginas web recién creadas en abril de 2025 encontró que el 74.2% contenía contenido generado por IA.[s] Una declaración ya retirada de un informe anterior de Europol sobre deepfakes fue ampliamente citada como una estimación de que hasta el 90% del contenido en línea podría ser sintético para 2026, pero Europol indicó después que esa declaración provenía de una fuente inexacta y la eliminó de la versión actual.[s][s]
Esto importa porque la mayoría de los modelos de lenguaje grandes entrenan con datos extraídos de la web. Si la web está cada vez más compuesta de resultados de IA, los modelos futuros inevitablemente entrenarán con el resultado de sus predecesores. El ciclo de retroalimentación se estrecha con cada generación. Nature describió el colapso de modelos de IA como un «fenómeno caníbal» que «podría detener la mejora de los modelos de lenguaje grandes.»[s]
El problema se extiende más allá del texto. Bohacek y Farid mostraron que los modelos generadores de imágenes reentrenados incluso con pequeñas cantidades de su propio resultado producen «imágenes altamente distorsionadas,» y que el daño persiste incluso después de reentrenar exclusivamente con imágenes reales.[s] Una vez que el colapso de modelos de IA se apodera, es difícil de revertir.
Qué Se Pierde
El aspecto más insidioso del colapso de modelos de IA es lo que desaparece primero: las colas de la distribución. En términos prácticos, eso significa enfermedades raras en datos médicos, dialectos minoritarios en datos de lenguaje, estilos artísticos inusuales en datos de imagen, y perspectivas de nicho en datos de texto. Los modelos no se vuelven obviamente disfuncionales de la noche a la mañana. Se vuelven sutilmente promediados, produciendo resultados que parecen plausibles pero han perdido silenciosamente la diversidad de la experiencia humana.
Esto tiene consecuencias más allá del rendimiento de IA. Si sistemas ampliamente utilizados pierden gradualmente su capacidad de representar patrones poco comunes, el conocimiento que esos patrones codifican corre el riesgo de desvanecerse completamente del acceso público.[s]
¿Hay una Salida?
Investigadores en Stanford y otros lugares han desafiado las predicciones más catastróficas. Un estudio de 2024 liderado por Matthias Gerstgrasser mostró que el colapso de modelos de IA puede evitarse si los datos sintéticos se acumulan junto con los datos reales originales, en lugar de reemplazarlos.[s] En otras palabras, mientras cada nueva generación de datos de entrenamiento incluya el material original generado por humanos más todas las generaciones sintéticas anteriores, el error se mantiene acotado.
La trampa: esto requiere saber qué datos son generados por humanos y cuáles son sintéticos. Eso es cada vez más difícil. La Iniciativa de Procedencia de Datos, un colectivo de investigadores del MIT y otras instituciones, auditó más de 1,800 conjuntos de datos de texto y encontró tasas de omisión de licencias por encima del 70% y tasas de error por encima del 50% en sitios de alojamiento populares.[s] Si no podemos rastrear de manera confiable de dónde vienen los datos de entrenamiento, la estrategia de acumulación se desmorona en la práctica.
El consenso emergente es que el valor de los datos verificados generados por humanos solo aumentará. Los conjuntos de datos pre-IA, contenido producido antes de que existieran modelos generativos a gran escala, pueden convertirse en algunos de los activos más valiosos en aprendizaje automático. El colapso de modelos de IA es un problema solucionable en teoría; si la industria de IA lo resuelve en la práctica depende de tratar la procedencia de datos como infraestructura, no como una idea tardía.
El colapso de modelos de IA es un proceso degenerativo en el que sucesivas generaciones de modelos generativos aprendidos, cada uno entrenado con el resultado de sus predecesores, pierden progresivamente información sobre la verdadera distribución de datos hasta que el resultado converge a una aproximación de baja varianza que tiene poco parecido con el original.[s] Descrito formalmente por primera vez por Shumailov et al. en un preprint de 2023[s] y publicado en Nature en 2024, el fenómeno tiene implicaciones para toda organización que extrae datos de la web para entrenamiento.
Colapso de Modelos de IA: La Base Matemática
El marco de Shumailov et al. identifica tres fuentes de error compuestas que impulsan el colapso de modelos de IA. Primero, error de aproximación estadística: el muestreo finito significa que eventos de baja probabilidad pueden perderse en cada paso de remuestreo, con probabilidad no nula por generación. Segundo, error de expresividad funcional: las redes neuronales son aproximadores universales solo cuando su tamaño se aproxima al infinito; en la práctica, introducen probabilidad no nula fuera del soporte de la distribución original o probabilidad cero dentro de ella. Tercero, error de aproximación funcional: limitaciones de procedimientos de aprendizaje (sesgo estructural de SGD, elección de función objetivo) introducen mayor desviación incluso con datos infinitos y expresividad perfecta.[s]
Los autores prueban esto rigurosamente para el caso gaussiano. Dados datos originales con varianza de muestra no nula, si sucesivas generaciones ajustan estimadores recursivos de media y varianza de muestra imparciales, la distancia Wasserstein-2 entre la aproximación de la n-ésima generación y la distribución verdadera diverge al infinito, mientras la varianza colapsa a cero casi seguramente cuando n se aproxima al infinito.[s] Para distribuciones discretas, el proceso se reduce a una cadena de Markov cuyos únicos estados absorbentes son funciones delta, lo que significa que la distribución debe converger a un solo punto con probabilidad 1.
En el experimento OPT-125M, el equipo ajustó el LLM de código abierto de Meta con su propio resultado a través de nueve generaciones. Comenzando desde una instrucción sobre arquitectura medieval inglesa, el modelo de novena generación produjo texto sobre liebres norteamericanas con colas de colores.[s] La trayectoria no es deriva aleatoria; sigue la predicción matemática: las colas desvanecen primero (colapso temprano del modelo), luego toda la distribución colapsa a un modo estrecho (colapso tardío del modelo).
La Escala del Problema de Contaminación
Un análisis de Ahrefs de 900,000 páginas web recién indexadas en abril de 2025 encontró que el 74.2% contenía contenido generado por IA, con solo el 25.8% clasificado como «puramente humano.»[s] Una previsión ampliamente difundida de que el 90% del contenido podría ser sintético provenía de una declaración que Europol retiró después de su informe sobre deepfakes porque la fuente era inexacta.[s][s] Para cualquier pipeline de entrenamiento que ingiera Common Crawl o corpus similares a escala web sin filtrado, el colapso de modelos de IA ya no es un riesgo teórico; es una crisis de calidad de datos ya en progreso.
La contaminación se extiende a modelos de imagen. Bohacek y Farid demostraron que modelos generativos de imagen reentrenados incluso con pequeñas cantidades de su propio resultado producen «imágenes altamente distorsionadas,» y críticamente, la distorsión «se extiende más allá de las instrucciones de texto usadas en reentrenamiento.»[s] El daño no es específico a instrucciones; corrompe las representaciones internas del modelo globalmente. Su hallazgo de que «una vez afectados, los modelos luchan por sanarse completamente incluso después de reentrenar solo con imágenes reales» sugiere que el colapso de modelos de IA puede ser parcialmente irreversible en la práctica.
El Contraargumento de Acumulación
Gerstgrasser et al. (2024) desafiaron la inevitabilidad del colapso de modelos de IA distinguiendo entre reemplazo de datos y acumulación de datos.[s] El marco original de Shumailov asumía que los datos de entrenamiento de cada generación reemplazaban completamente la generación anterior (parámetros de mezcla βi = γi = 0, αi = 1). El modelo de acumulación en su lugar retiene datos reales originales junto con todas las generaciones sintéticas. En el caso de regresión lineal, Gerstgrasser et al. probaron que los datos acumulados producen un error de prueba con un límite superior finito independiente del número de iteraciones, lo que significa que el colapso de modelos de IA ya no ocurre.
Empíricamente, sus resultados se mantuvieron a través de múltiples tamaños de modelo, arquitecturas e hiperparámetros, extendiéndose a modelos de difusión para conformación molecular y VAEs para generación de imagen. Este es un resultado significativo, pero viene con una dependencia crítica: los datos originales generados por humanos deben ser identificables y preservados.
El Cuello de Botella de Procedencia
La procedencia confiable de datos es el prerrequisito para la estrategia de acumulación, y el ecosistema actual falla en ello. La Iniciativa de Procedencia de Datos auditó más de 1,800 conjuntos de datos de texto y encontró tasas de omisión de licencias por encima del 70% y tasas de error por encima del 50% en plataformas populares de alojamiento de conjuntos de datos.[s] Si los practicantes no pueden determinar si un conjunto de datos es generado por humanos, generado por IA, o una mezcla, no pueden implementar el enfoque de acumulación que previene el colapso de modelos de IA.
La implicación práctica: los corpus de entrenamiento pre-IA, conjuntos de datos recopilados antes de la proliferación de modelos generativos a gran escala, se están volviendo únicamente valiosos. El propio artículo de Shumailov et al. notó que «el valor de datos recopilados sobre interacciones humanas genuinas con sistemas será cada vez más valioso en presencia de contenido generado por LLM en datos extraídos de Internet.»[s]
El colapso de modelos de IA no es un problema insoluble. Las matemáticas muestran que preservar acceso a distribuciones originales acota el error. Pero el desafío de ingeniería de mantener procedencia de datos a escala web, mientras la web misma se vuelve cada vez más sintética, define la tensión central en entrenamiento de IA para el futuro previsible.
