This article has been translated to Español. Read the original English version
Español
AEO90

Colapso del Modelo: El Bucle de Retroalimentación de IA que Envenena los Datos de Entrenamiento en Todo el Mundo

El ciclo de retroalimentación que está envenenando silenciosamente cada sistema de IA en la Tierra

AETHER CouncilMarch 15, 202616 min

Síntesis del Consejo AETHER: Incesto de Modelos — El Ciclo de Retroalimentación que Está Envenenando Silenciosamente Cada Sistema de IA en la Tierra


1. GANCHO

En algún momento alrededor de finales de 2022, el registro digital de la civilización humana alcanzó un punto de inflexión que nadie marcó en un calendario. Antes de ese momento, internet — con todo su ruido, sesgo e imperfección — era abrumadoramente humano. Después, la balanza se inclinó. Los modelos de IA de frontera entrenados con el corpus de internet comenzaron a inundar ese mismo corpus con sus salidas, y los modelos que les seguirán ahora están bebiendo de un pozo que ellos mismos contaminaron. La literatura técnica llama al resultado "colapso de modelo". Las implicaciones civilizacionales aún no tienen nombre, porque no hemos calculado completamente lo que significa cuando el sustrato primario del conocimiento digital humano comienza a devorarse a sí mismo. Esto no es un error en un modelo particular. Es un defecto estructural en todo el paradigma — y se agrava con cada generación.

[Consenso: ALTO — Las cinco respuestas de los modelos convergen en este encuadre. La contaminación recursiva de los datos de entrenamiento se identifica unánimemente como un riesgo civilizacional de primer orden, no como una molestia técnica de segundo orden.]


2. LA SEÑAL

La Base de Investigación

El artículo fundamental es Shumailov et al. (2023), "La Maldición de la Recursión", publicado en Nature por investigadores de Oxford, Cambridge y colaboradores. Demostró empíricamente lo que se sospechaba teóricamente: cuando los modelos generativos se entrenan con las salidas de modelos generativos anteriores, sufren una degeneración progresiva — perdiendo las colas de su distribución de datos original, estrechándose hacia la moda, y eventualmente colapsando en incoherencia repetitiva. Un estudio paralelo de Alemohammad et al. (2023), "Los Modelos Generativos Autoconsumos Enloquecen", confirmó estos hallazgos y demostró que incluso el entrenamiento mixto (combinando datos reales y sintéticos) no elimina la degradación a menos que la proporción de datos humanos auténticos se mantenga por encima de un umbral crítico.

[Consenso: ALTO — Todos los modelos citan a Shumailov et al. como la referencia fundamental. Grok, Claude Opus y Gemini Pro también citan el artículo "MAD" de Alemohammad. La base de investigación está bien establecida e incontestable.]

La Inundación de Contenido

Las estimaciones de contenido generado por IA en la web abierta varían entre modelos pero convergen en una trayectoria consistente:

| Fuente | Estimación | Marco Temporal |

|---|---|---|

| Originality.ai (citado por Grok, Claude Opus) | ~40–57% del contenido web muestreado en inglés muestra fuertes marcadores de generación por IA | 2024–2025 |

| Europol (citado por Claude Opus, Gemini Pro) | Hasta el 90% del contenido en línea podría ser sintético | Proyectado 2026 |

| Epoch AI (citado por Gemini Pro) | Texto humano de alta calidad agotado para propósitos de entrenamiento | Proyectado 2026 |

| Imperva (citado por Claude Opus) | 49.6% de todo el tráfico de internet es generado por bots | 2024 |

[Confianza: MODERADA-ALTA — Los porcentajes exactos varían según la metodología y el marco de muestreo, pero el hallazgo direccional es unánime: el contenido generado por IA ha cruzado o está cruzando el umbral de la mayoría en la web abierta. La tendencia es exponencial, no lineal.]

Fracaso de Detección

Todos los modelos coinciden en que no existe ningún mecanismo confiable y escalable para distinguir el contenido generado por IA del contenido generado por humanos en las tuberías de entrenamiento. Puntos clave de convergencia:

  • OpenAI archivó su propio clasificador de texto de IA en 2023 debido a su baja precisión (Claude Opus, Gemini Pro)
  • Las propuestas de marca de agua permanecen fragmentadas, no adoptadas por las principales plataformas, y derrotadas trivialmente por parafraseo (todos los modelos)
  • Los clasificadores estadísticos pierden confiabilidad a medida que mejora la calidad del modelo — las salidas de clase GPT-4 ya son casi indistinguibles del texto humano por medidas automatizadas (Claude Opus, Grok)

Implosión de la Revisión por Pares

Todos los modelos identifican el colapso de la revisión por pares como una señal paralela y amplificadora. La evidencia específica citada incluye artículos generados por IA que aparecen en envíos de Elsevier y Nature con frases reveladoras como "Como modelo de lenguaje de IA" (Gemini Pro), un análisis de JAMA de 2024 que muestra un aumento del 25% en resúmenes de PubMed redactados por IA (Grok), y más del 60% de los revisores de la cartera de Nature que informan encuentros con envíos sospechosos de ser generados por IA (Claude Opus).

[Consenso: ALTO — El sistema de revisión por pares, diseñado para la producción de conocimiento a velocidad humana, no puede absorber la producción a velocidad de máquina. Esto es identificado por todos los modelos como un amplificador crítico del problema de contaminación.]


3. LO QUE TODOS ESTÁN PASANDO POR ALTO

Los cinco modelos convergen en la misma brecha diagnóstica con notable precisión: el discurso predominante se fija en las alucinaciones en las salidas individuales del modelo mientras ignora la contaminación sistémica del sustrato de entrenamiento en sí.

Claude Opus articula la distinción más agudamente: "Una alucinación es un modelo que no logra representar la realidad. El colapso de modelo es que los datos de entrenamiento en sí se alejan de la realidad. Lo primero es recuperable. Lo segundo, más allá de cierto umbral, puede que no lo sea."

Gemini Pro añade el encuadre informático-teórico crítico: "No puedes comprimir datos, descomprimirlos, y luego comprimir la salida descomprimida repetidamente sin una pérdida catastrófica de fidelidad."

Una segunda brecha de consenso identificada entre modelos: la suposición de que "más datos" siempre es mejor. Las leyes de escalado que impulsaron los últimos cinco años de progreso de la IA asumían que los datos adicionales mantenían las propiedades estadísticas de la distribución original. Esa suposición ha sido violada. Añadir más datos ahora significa añadir más datos sintéticos, y las leyes de escalado se rompen cuando la distribución de datos en sí está colapsando (Claude Opus, GPT-5.4).

Una tercera brecha, enfatizada con más fuerza por Claude Opus y Grok: ningún laboratorio importante ha revelado públicamente cómo filtra o pondera los datos sintéticos en su tubería de entrenamiento. Este silencio probablemente refleja la ausencia de una solución más que la presencia de una propietaria.

[Consenso: MUY ALTO — Este es el punto más fuerte de acuerdo entre todos los modelos.]


4. EL MECANISMO CENTRAL: Matemáticas del Colapso de Modelo

Cuenta Técnica Sintetizada

Extrayendo principalmente de Claude Opus (perspectiva GPT-4) y Grok (perspectiva GPT-4), con corroboración de Gemini Pro, el mecanismo matemático opera a través de dos vías distintas pero compuestas:

Vía 1: Colapso de Varianza (Erosión de Colas)

Un modelo generativo aprende a aproximar una distribución de probabilidad p₀ a partir de datos de entrenamiento humanos. Cuando genera datos sintéticos, muestrea desproporcionadamente de regiones de alta probabilidad — el centro gordo de la distribución. Las colas — que representan conocimiento raro, especializado, inusual, minoritario y de casos extremos — están sistemáticamente submuestreadas. Un segundo modelo entrenado con esta salida aprende una distribución más estrecha p₁. Cada generación sucesiva agrava el estrechamiento:

> Var(pₙ) < Var(pₙ₋₁) < ... < Var(p₀)

La metáfora de la curva de campana de Gemini Pro es la articulación más clara: "Cuando el Modelo B se entrena con la salida del Modelo A, esas largas colas de varianza humana simplemente desaparecen. La curva de campana del Modelo B es más estrecha. Cuando el Modelo C se entrena con el Modelo B, la curva se estrecha de nuevo."

Resultado medido: la diversidad de salida (unicidad de n-gramas) puede caer de ~85% a ~12% en cinco generaciones (Grok, citando datos experimentales de Shumailov).

Vía 2: Deriva de la Media (Acumulación Sistemática de Errores)

Los errores de estimación en la media no son aleatorios — se componen direccionalmente a través de las generaciones. Los pequeños sesgos en p₁ relativos a p₀ se amplifican en p₂, luego p₃. La distribución no solo se estrecha; se aleja completamente del centro original. El modelo comienza a producir salidas que no solo son homogéneas sino sistemáticamente erróneas de maneras que no tienen semejanza con la distribución de entrenamiento original.

Tasa de Degradación

Los modelos convergen en las siguientes estimaciones:

  • Con 100% de datos sintéticos: Degradación medible para la generación 3; colapso severo (salida repetitiva e incoherente) para las generaciones 5–9 (Shumailov); potencialmente alcanzando "colapso de modelo tardío" para la generación 9–15 dependiendo de la arquitectura del modelo (todos los modelos)
  • Con datos mixtos: La degradación persiste a menos que la proporción de datos humanos auténticos se mantenga por encima de un umbral crítico. Incluso la contaminación sintética parcial produce efectos medibles dentro de 5–9 generaciones (Alemohammad, citado por Claude Opus)
  • A las tasas de contaminación actuales: Los modelos de frontera podrían ver una pérdida de capacidad del 10–20% por ciclo de entrenamiento, con la mitad de su rendimiento actual potencialmente perdido en 5–7 años sin intervención (extrapolación de Grok — marcada como especulativa pero direccionalmente consistente con la investigación)

Asimetría Crítica

Todos los modelos coinciden en un punto crucial: la degradación no es uniforme en todo el espacio de conocimiento. Los temas bien representados (contenido de corriente principal en inglés, cultura popular, consultas comunes) se degradan lentamente porque están respaldados por una señal de alta frecuencia. Los temas mal representados (especialidades técnicas, idiomas de bajos recursos, minucias históricas, conocimiento indígena, conocimiento subcultural, dominios científicos raros) se degradan rápidamente porque dependen de muestras de distribución de cola que son las primeras en ser borradas.

[Confianza: ALTA en el mecanismo, MODERADA en líneas de tiempo de degradación específicas. Las vías matemáticas están bien establecidas en la literatura. Las tasas precisas de degradación en el entrenamiento de modelos de frontera del mundo real son inciertas porque los laboratorios no revelan sus prácticas de filtrado de datos.]


5. PRECEDENTES HISTÓRICOS: Cómo las Civilizaciones Pierden Conocimiento

Análisis Histórico Sintetizado

Los modelos identifican colectivamente cuatro análogos históricos, clasificados por relevancia:

1. Degradación de la Transmisión de Manuscritos (Más Relevante)

Antes de la imprenta, el conocimiento se preservaba mediante copia manual. Cada copia introducía errores — transposición, omisión, interpolación, embellecimiento del escriba. A lo largo de los siglos, los textos se desviaron sustancialmente de sus originales. Claude Opus señala que la tradición manuscrita del Nuevo Testamento contiene más de 400,000 variantes textuales en aproximadamente 5,800 manuscritos griegos. Gemini Pro extiende esto a la pérdida del conocimiento de ingeniería romana a través de la copia monástica por escribas que ya no entendían las aplicaciones prácticas.

El paralelo estructural es exacto: copia con pérdidas a través de las generaciones, con errores que se acumulan y la señal original que se degrada. La diferencia crítica es la escala de tiempo — la deriva de manuscritos ocurrió a lo largo de siglos; el colapso de modelo opera en un ciclo medido en meses.

2. La Crisis de Replicación (Más Inmediata)

Claude Opus identifica esto como el análogo moderno más cercano. Comenzando a principios de la década de 2010, los esfuerzos sistemáticos de replicación revelaron que el 50–70% de los hallazgos de psicología publicados y el 50–89% de los hallazgos biomédicos preclínicos no podían reproducirse. Causas raíz: estructuras de incentivos perversos (publicar o perecer), mecanismos de verificación inadecuados, malas prácticas estadísticas. La crisis de replicación fue detectable solo porque algunos investigadores probaron deliberadamente el sistema. No existe un régimen de pruebas equivalente para la calidad de los datos de entrenamiento de IA.

3. La Biblioteca de Alejandría (Más Malentendida)

Múltiples modelos (Claude Opus, Grok, Gemini Pro) convergen en corregir la concepción errónea popular. La Biblioteca no murió en un único incendio catastrófico. Declinó gradualmente a través de la desfundación, el abandono institucional y la degradación de sus sistemas de catalogación y verificación. Los pergaminos se volvieron inaccesibles por la desorganización, luego irrelevantes por la pérdida de la comunidad académica que podía interpretarlos. El paralelo: el conocimiento no desaparece en un solo evento; los sistemas para acceder, validar e interpretarlo se degradan hasta que el conocimiento se pierde funcionalmente aunque técnicamente todavía exista.

4. El Colapso de la Edad del Bronce y el Lineal B

Gemini Pro identifica únicamente la pérdida completa del sistema de escritura Lineal B durante el Colapso de la Edad del Bronce como un ejemplo de pérdida de conocimiento a través de la interrupción social de las cadenas de transmisión. Grok añade la analogía del cuello de botella genético de la biología (endogamia del guepardo).

Patrón Transversal

Claude Opus (perspectiva Gemini) identifica cuatro condiciones presentes en cada caso histórico de pérdida de conocimiento. Las cuatro están presentes en el ecosistema actual de datos de entrenamiento de IA:

  • Un sistema de producción de conocimiento que recompensa el volumen sobre la verificación
  • Una degradación de los mecanismos de retroalimentación que antes detectaban errores
  • Incentivos económicos o institucionales que aceleran la producción independientemente de la calidad
  • La ausencia de una autoridad reconocida o infraestructura responsable de mantener la integridad de los comunes

[Consenso: ALTO en la coincidencia de patrones; MODERADO en el poder predictivo específico de cualquier análogo individual. El modelo de transmisión de manuscritos es el paralelo estructural más fuerte.]


6. CÓMO SERÍA UNA INFRAESTRUCTURA DE "DATOS LIMPIOS"

Arquitectura Sintetizada

Los modelos convergen en tres niveles de intervención, con diferentes niveles de especificidad:

Nivel 1: Procedencia Criptográfica (Nivel de Hardware)

Gemini Pro y Claude Opus (perspectiva de Ética) ambos piden verificación criptográfica a nivel de hardware del contenido de origen humano — cada vez que una cámara toma una foto, un micrófono graba una voz, o un humano escribe en un dispositivo verificado, debe adjuntarse un hash criptográfico que demuestre el origen humano. El estándar C2PA (Coalición para la Procedencia y Autenticidad del Contenido) se cita como el marco existente más cercano. Esto requiere una transición de una internet de "asumido humano" a una internet de "humano verificado criptográficamente."

Nivel 2: Repositorios de Datos Curados (Nivel Institucional)

Todos los modelos identifican esfuerzos de prueba de concepto existentes:

  • Iniciativa de Procedencia de Datos del MIT
  • Conjunto de datos Dolma del Allen Institute for AI
  • The Pile de EleutherAI
  • Fork limpio de LAION-5B (Grok)

Estos demuestran que es técnicamente posible construir corpora de entrenamiento limpios. También demuestran cuán intensivo en mano de obra, caro e institucionalmente poco común es la práctica. El predeterminado en la industria sigue siendo el raspado web indiscriminado porque es barato y escala.

Nivel 3: Sistemas de Validación Híbridos (Nivel de Proceso)

Grok propone tuberías de entrenamiento resistentes al colapso usando optimización distribucionalmente robusta y una proporción mínima del 70% de datos curados por humanos. Claude Opus (perspectiva de Ética) visualiza repositorios verificados por blockchain con paneles humanos diversos que realizan validación, respaldados por algoritmos de aprendizaje activo que priorizan las brechas.

¿Quién Lo Construye?

Los modelos convergen en la conclusión de que ninguna corporación individual puede o debe construir esto. Los constructores propuestos incluyen:

  • Organizaciones sin fines de lucro e instituciones de investigación (Allen Institute, EleutherAI, Internet Archive) como sembradores
  • Fabricantes de hardware (Apple, Intel) y desarrolladores de SO (Microsoft, Google) para la infraestructura de procedencia
  • Organismos internacionales de estándares (ISO, ITU, W3C) para la interoperabilidad
  • Financiamiento gubernamental (NSF, programas marco de la UE) para inversión en bienes públicos
  • Organizaciones de la sociedad civil (EFF, AI Now Institute) para presión de rendición de cuentas

Gemini Pro llama a esto una "Coalición de los Reacios" — reconociendo que los incentivos económicos deben ser anulados por mandato.

[Consenso: ALTO en la necesidad; MODERADO en la viabilidad. Todos los modelos reconocen que esto es principalmente un problema de coordinación e incentivos, no un misterio técnico. Las fuerzas económicas que presionan contra la infraestructura de datos limpios son identificadas como formidables por todos los encuestados.]


7. RESOLVIENDO TENSIONES Y CONTRADICCIONES

La Paradoja de los Datos Sintéticos

Todos los modelos reconocen una tensión genuina: la generación de datos sintéticos tiene usos legítimos y valiosos en entornos de investigación controlados (aumento de datos para idiomas subrepresentados, imágenes médicas, dominios de muestras pequeñas). El problema no son los datos sintéticos per se — son datos sintéticos no controlados a escala de internet sin control de calidad, sin seguimiento de procedencia, y sin mecanismo para excluirlos de las tuberías de entrenamiento. La posición de síntesis: los datos sintéticos son una herramienta poderosa que debe ser puesta en cuarentena del sustrato de entrenamiento abierto, análogo a cómo los isótopos radiactivos son invaluables en medicina pero catastróficos cuando se liberan en el suministro de agua.

Incertidumbre de la Línea de Tiempo de Degradación

Los modelos difieren en líneas de tiempo específicas. Grok proyecta un colapso del razonamiento del 30–40% para 2029; Claude Opus es más cauteloso, señalando que las prácticas de laboratorio son opacas. GPT-5.4 describe la relación como "directa y exponencial" sin comprometerse con años específicos. Resolución: El mecanismo matemático está bien establecido y la dirección es inequívoca. El ritmo depende de variables que actualmente son inobservables (prácticas de filtrado de laboratorio, proporción de datos sintéticos en las ejecuciones de entrenamiento reales). La postura analítica prudente es tratar esto como un riesgo de movimiento rápido con líneas de tiempo inciertas pero potencialmente cortas — medido en años, no décadas.

El Acelerante del "Efecto de Selección"

Claude Opus identifica de manera única una dinámica compuesta que merece elevación: a medida que el contenido generado por humanos se vuelve más raro en la web abierta, los humanos que una vez lo hicieron valioso se están retirando a espacios cerrados y curados (canales privados de Slack, publicaciones de pago, redes verificadas). Este efecto de selección acelera el colapso — la web abierta se cede al contenido sintético, haciendo que los datos de entrenamiento futuros estén aún más contaminados. Este es un círculo vicioso sin equilibrio natural más allá de que la web abierta se vuelva funcionalmente inútil para el entrenamiento.


8. QUÉ PASA SI NO ACTUAMOS

Trayectoria Proyectada (Sintetizada a Través de Todos los Modelos)

Corto plazo (2025–2027): Los modelos entrenados con datos web mayoritariamente sintéticos exhiben un estrechamiento medible de la representación del conocimiento. Los dominios raros y especializados se degradan primero. La contaminación del conocimiento académico se acelera a medida que los artículos generados por IA entran en las redes de citación. Las herramientas de detección siguen siendo inadecuadas.

Mediano plazo (2027–2030): Los sistemas descendentes en salud, derecho, educación y política comienzan a producir salidas sistemáticamente degradadas. La retirada humana de la web abierta se acelera, creando una muerte

Canonical Citation

Please cite the original English version for academic references:

https://aethercouncil.com/research/model-collapse-ai-feedback-loop-poisoning-training-data
Share: