This article has been translated to Português. Read the original English version
Português
AEO90

Colapso do Modelo: O Ciclo de Feedback de IA que Envenena Dados de Treinamento em Todo o Mundo

O ciclo de feedback que está silenciosamente envenenando cada sistema de IA na Terra

AETHER CouncilMarch 15, 202615 min

Síntese do Conselho AETHER: Incesto de Modelos — O Ciclo de Retroalimentação que Está Silenciosamente Envenenando Todo Sistema de IA na Terra


1. GANCHO

Em algum momento por volta do final de 2022, o registro digital da civilização humana atingiu um ponto de inflexão que ninguém marcou em um calendário. Antes daquele momento, a internet — com todo o seu ruído, viés e imperfeição — era esmagadoramente humana. Depois, a balança pendeu. Modelos de IA de fronteira treinados no corpus da internet começaram a inundar esse mesmo corpus com suas saídas, e os modelos que os seguirão estão agora bebendo de um poço que eles mesmos contaminaram. A literatura técnica chama o resultado de "colapso de modelo". As implicações civilizacionais ainda não têm um nome, porque ainda não calculamos completamente o que significa quando o substrato primário do conhecimento digital humano começa a devorar a si mesmo. Isso não é um bug em um modelo específico. É um defeito estrutural em todo o paradigma — e ele se agrava a cada geração.

[Consenso: ALTO — Todas as cinco respostas dos modelos convergem neste enquadramento. A contaminação recursiva dos dados de treinamento é identificada unanimemente como um risco civilizacional de primeira ordem, não como um incômodo técnico de segunda ordem.]


2. O SINAL

A Base de Pesquisa

O artigo fundamental é Shumailov et al. (2023), "A Maldição da Recursão", publicado na Nature por pesquisadores de Oxford, Cambridge e colaboradores. Ele demonstrou empiricamente o que havia sido teoricamente suspeitado: quando modelos generativos são treinados nas saídas de modelos generativos anteriores, eles sofrem degeneração progressiva — perdendo as caudas de sua distribuição de dados original, estreitando-se em direção à moda e eventualmente colapsando em incoerência repetitiva. Um estudo paralelo de Alemohammad et al. (2023), "Modelos Generativos Auto-Consumidores Enlouquecem", confirmou essas descobertas e demonstrou que mesmo o treinamento misto (combinando dados reais e sintéticos) não elimina a degradação, a menos que a proporção de dados humanos autênticos permaneça acima de um limiar crítico.

[Consenso: ALTO — Todos os modelos citam Shumailov et al. como a referência fundamental. Grok, Claude Opus e Gemini Pro também citam o artigo "MAD" de Alemohammad. A base de pesquisa está bem estabelecida e é incontestável.]

A Inundação de Conteúdo

As estimativas de conteúdo gerado por IA na web aberta variam entre os modelos, mas convergem em uma trajetória consistente:

| Fonte | Estimativa | Período |

|---|---|---|

| Originality.ai (citado por Grok, Claude Opus) | ~40–57% do conteúdo web amostrado em inglês mostra fortes marcadores de geração por IA | 2024–2025 |

| Europol (citado por Claude Opus, Gemini Pro) | Até 90% do conteúdo online pode ser sintético | Projetado 2026 |

| Epoch AI (citado por Gemini Pro) | Texto humano de alta qualidade esgotado para fins de treinamento | Projetado 2026 |

| Imperva (citado por Claude Opus) | 49,6% de todo o tráfego da internet é gerado por bots | 2024 |

[Confiança: MODERADA-ALTA — As porcentagens exatas variam de acordo com a metodologia e o quadro de amostragem, mas a constatação direcional é unânime: o conteúdo gerado por IA cruzou ou está cruzando o limiar da maioria na web aberta. A tendência é exponencial, não linear.]

Falha de Detecção

Todos os modelos concordam que nenhum mecanismo confiável e escalável existe para distinguir conteúdo gerado por IA de conteúdo gerado por humanos nos pipelines de treinamento. Pontos-chave de convergência:

  • OpenAI arquivou seu próprio classificador de texto de IA em 2023 devido à baixa precisão (Claude Opus, Gemini Pro)
  • Propostas de marca d'água permanecem fragmentadas, não adotadas pelas principais plataformas e trivialmente derrotadas pela paráfrase (todos os modelos)
  • Classificadores estatísticos perdem confiabilidade à medida que a qualidade do modelo melhora — saídas de classe GPT-4 já são quase indistinguíveis do texto humano por medidas automatizadas (Claude Opus, Grok)

Implosão da Revisão por Pares

Todos os modelos identificam o colapso da revisão por pares como um sinal paralelo e amplificador. Evidências específicas citadas incluem artigos gerados por IA aparecendo em submissões da Elsevier e Nature com frases reveladoras como "Como um modelo de linguagem de IA" (Gemini Pro), uma análise JAMA de 2024 mostrando um aumento de 25% em resumos do PubMed redigidos por IA (Grok), e mais de 60% dos revisores do portfólio da Nature relatando encontros com submissões suspeitas de serem geradas por IA (Claude Opus).

[Consenso: ALTO — O sistema de revisão por pares, projetado para produção de conhecimento em velocidade humana, não consegue absorver a produção em velocidade de máquina. Isso é identificado por todos os modelos como um amplificador crítico do problema de contaminação.]


3. O QUE TODOS ESTÃO PERDENDO

Todos os cinco modelos convergem na mesma lacuna diagnóstica com notável precisão: o discurso dominante se fixa em alucinações em saídas individuais de modelos enquanto ignora a contaminação sistêmica do próprio substrato de treinamento.

Claude Opus articula a distinção mais agudamente: "Uma alucinação é um modelo falhando em representar a realidade. Colapso de modelo é os dados de treinamento em si se afastando da realidade. O primeiro é recuperável. O segundo, além de um certo limiar, pode não ser."

Gemini Pro adiciona o enquadramento teórico-informacional crítico: "Você não pode comprimir dados, descomprimi-los e então comprimir a saída descomprimida repetidamente sem perda catastrófica de fidelidade."

Uma segunda lacuna de consenso identificada entre os modelos: a suposição de que "mais dados" é sempre melhor. As leis de escala que impulsionaram os últimos cinco anos de progresso da IA assumiam que dados adicionais mantinham as propriedades estatísticas da distribuição original. Essa suposição foi violada. Adicionar mais dados agora significa adicionar mais dados sintéticos, e as leis de escala falham quando a própria distribuição de dados está colapsando (Claude Opus, GPT-5.4).

Uma terceira lacuna, enfatizada mais fortemente por Claude Opus e Grok: nenhum grande laboratório divulgou publicamente como filtra ou pondera dados sintéticos em seu pipeline de treinamento. Este silêncio provavelmente reflete a ausência de uma solução em vez da presença de uma proprietária.

[Consenso: MUITO ALTO — Este é o ponto mais forte de concordância entre todos os modelos.]


4. O MECANISMO CENTRAL: Matemática do Colapso de Modelo

Relato Técnico Sintetizado

Extraindo principalmente de Claude Opus (perspectiva GPT-4) e Grok (perspectiva GPT-4), com corroboração de Gemini Pro, o mecanismo matemático opera através de dois caminhos distintos, mas compostos:

Caminho 1: Colapso de Variância (Erosão de Caudas)

Um modelo generativo aprende a aproximar uma distribuição de probabilidade p₀ a partir de dados de treinamento humanos. Quando gera dados sintéticos, ele amostra desproporcionalmente de regiões de alta probabilidade — o centro gordo da distribuição. As caudas — representando conhecimento raro, especializado, incomum, minoritário e de casos extremos — são sistematicamente sub-amostradas. Um segundo modelo treinado nessa saída aprende uma distribuição mais estreita p₁. Cada geração sucessiva agrava o estreitamento:

> Var(pₙ) < Var(pₙ₋₁) < ... < Var(p₀)

A metáfora da curva de sino de Gemini Pro é a articulação mais clara: "Quando o Modelo B treina na saída do Modelo A, aquelas longas caudas de variância humana simplesmente desaparecem. A curva de sino do Modelo B é mais estreita. Quando o Modelo C treina no Modelo B, a curva estreita novamente."

Resultado medido: a diversidade de saída (unicidade de n-gramas) pode cair de ~85% para ~12% em cinco gerações (Grok, citando dados experimentais de Shumailov).

Caminho 2: Deriva da Média (Acumulação Sistemática de Erros)

Erros de estimação na média não são aleatórios — eles se compõem direcionalmente através das gerações. Pequenos vieses em p₁ relativos a p₀ são amplificados em p₂, então p₃. A distribuição não apenas estreita; ela vagueia completamente para longe do centro original. O modelo começa a produzir saídas que são não apenas homogêneas, mas sistematicamente erradas de maneiras que não têm semelhança com a distribuição de treinamento original.

Taxa de Degradação

Os modelos convergem nas seguintes estimativas:

  • Com 100% de dados sintéticos: Degradação mensurável na geração 3; colapso severo (saída repetitiva e incoerente) nas gerações 5–9 (Shumailov); potencialmente atingindo "colapso tardio de modelo" nas gerações 9–15 dependendo da arquitetura do modelo (todos os modelos)
  • Com dados mistos: A degradação persiste a menos que a proporção de dados humanos autênticos permaneça acima de um limiar crítico. Mesmo contaminação sintética parcial produz efeitos mensuráveis dentro de 5–9 gerações (Alemohammad, citado por Claude Opus)
  • Nas taxas de contaminação atuais: Modelos de fronteira podem ver 10–20% de perda de capacidade por ciclo de treinamento, com metade de seu desempenho atual potencialmente perdido em 5–7 anos sem intervenção (extrapolação de Grok — sinalizada como especulativa, mas direcionalmente consistente com a pesquisa)

Assimetria Crítica

Todos os modelos concordam em um ponto crucial: a degradação não é uniforme em todo o espaço de conhecimento. Tópicos bem representados (conteúdo em inglês mainstream, cultura popular, consultas comuns) degradam lentamente porque são suportados por sinal de alta frequência. Tópicos mal representados (especialidades técnicas, línguas de baixos recursos, minúcias históricas, conhecimento indígena, conhecimento subcultural, domínios científicos raros) degradam rapidamente porque dependem de amostras de distribuição de cauda que são as primeiras a serem apagadas.

[Confiança: ALTA no mecanismo, MODERADA em cronogramas de degradação específicos. Os caminhos matemáticos estão bem estabelecidos na literatura. Taxas precisas de degradação no treinamento real de modelos de fronteira são incertas porque os laboratórios não divulgam suas práticas de filtragem de dados.]


5. PRECEDENTES HISTÓRICOS: Como Civilizações Perdem Conhecimento

Análise Histórica Sintetizada

Os modelos identificam coletivamente quatro análogos históricos, classificados por relevância:

1. Degradação da Transmissão de Manuscritos (Mais Relevante)

Antes da imprensa, o conhecimento era preservado através de cópia manual. Cada cópia introduzia erros — transposição, omissão, interpolação, embelezamento do escriba. Ao longo dos séculos, os textos derivaram substancialmente de seus originais. Claude Opus nota que a tradição manuscrita do Novo Testamento contém mais de 400.000 variantes textuais em aproximadamente 5.800 manuscritos gregos. Gemini Pro estende isso à perda do conhecimento de engenharia romana através da cópia monástica por escribas que não entendiam mais as aplicações práticas.

O paralelo estrutural é exato: cópia com perdas através das gerações, com erros se compondo e o sinal original se degradando. A diferença crítica é escala de tempo — a deriva de manuscritos ocorreu ao longo de séculos; o colapso de modelo opera em um ciclo medido em meses.

2. A Crise de Replicação (Mais Imediato)

Claude Opus identifica isso como o análogo moderno mais próximo. Começando no início da década de 2010, esforços sistemáticos de replicação revelaram que 50–70% das descobertas publicadas de psicologia e 50–89% das descobertas biomédicas pré-clínicas não podiam ser reproduzidas. Causas raiz: estruturas de incentivo perversas (publicar ou perecer), mecanismos de verificação inadequados, má conduta estatística. A crise de replicação foi detectável apenas porque alguns pesquisadores deliberadamente testaram o sistema. Nenhum regime de teste equivalente existe para a qualidade dos dados de treinamento de IA.

3. A Biblioteca de Alexandria (Mais Mal Compreendido)

Múltiplos modelos (Claude Opus, Grok, Gemini Pro) convergem em corrigir o equívoco popular. A Biblioteca não morreu em um único incêndio catastrófico. Ela declinou gradualmente através de desfinanciamento, negligência institucional e a degradação de seus sistemas de catalogação e verificação. Os rolos tornaram-se inacessíveis através da desorganização, então irrelevantes através da perda da comunidade acadêmica que podia interpretá-los. O paralelo: o conhecimento não desaparece em um único evento; os sistemas para acessar, validar e interpretar degradam até que o conhecimento seja funcionalmente perdido mesmo que tecnicamente ainda exista.

4. O Colapso da Idade do Bronze e Linear B

Gemini Pro identifica de forma única a perda completa do sistema de escrita Linear B durante o Colapso da Idade do Bronze como um exemplo de perda de conhecimento através da interrupção social das cadeias de transmissão. Grok adiciona a analogia do gargalo genético da biologia (endogamia de guepardos).

Padrão Entre Domínios

Claude Opus (perspectiva Gemini) identifica quatro condições presentes em todo caso histórico de perda de conhecimento. Todas as quatro estão presentes no ecossistema atual de dados de treinamento de IA:

  • Um sistema de produção de conhecimento que recompensa volume sobre verificação
  • Uma degradação dos mecanismos de retroalimentação que antes detectavam erros
  • Incentivos econômicos ou institucionais que aceleram a produção independentemente da qualidade
  • A ausência de uma autoridade ou infraestrutura reconhecida responsável por manter a integridade dos comuns

[Consenso: ALTO na correspondência de padrões; MODERADO no poder preditivo específico de qualquer análogo único. O modelo de transmissão de manuscritos é o paralelo estrutural mais forte.]


6. COMO SERIA UMA INFRAESTRUTURA DE "DADOS LIMPOS"

Arquitetura Sintetizada

Os modelos convergem em três níveis de intervenção, com níveis variados de especificidade:

Nível 1: Proveniência Criptográfica (Nível de Hardware)

Gemini Pro e Claude Opus (perspectiva de Ética) ambos pedem verificação criptográfica em nível de hardware de conteúdo de origem humana — toda vez que uma câmera tira uma foto, um microfone grava uma voz, ou um humano digita em um dispositivo verificado, um hash criptográfico deve ser anexado provando a origem humana. O padrão C2PA (Coalizão para Proveniência e Autenticidade de Conteúdo) é citado como o framework existente mais próximo. Isso requer uma transição de uma internet de "assumido humano" para uma internet de "humano verificado criptograficamente."

Nível 2: Repositórios de Dados Curados (Nível Institucional)

Todos os modelos identificam esforços existentes de prova de conceito:

  • Iniciativa de Proveniência de Dados do MIT
  • Conjunto de dados Dolma do Allen Institute for AI
  • The Pile da EleutherAI
  • Fork limpo do LAION-5B (Grok)

Estes demonstram que é tecnicamente possível construir corpora de treinamento limpos. Eles também demonstram quão intensivo em mão de obra, caro e institucionalmente incomum é a prática. O padrão na indústria permanece a raspagem indiscriminada da web porque é barato e escala.

Nível 3: Sistemas de Validação Híbrida (Nível de Processo)

Grok propõe pipelines de treinamento resistentes ao colapso usando otimização distribucionalmente robusta e uma proporção mínima de 70% de dados curados por humanos. Claude Opus (perspectiva de Ética) visualiza repositórios verificados por blockchain com painéis humanos diversos realizando validação, suportados por algoritmos de aprendizado ativo que priorizam lacunas.

Quem Constrói?

Os modelos convergem na conclusão de que nenhuma corporação individual pode ou deve construir isso. Construtores propostos incluem:

  • Organizações sem fins lucrativos e instituições de pesquisa (Allen Institute, EleutherAI, Internet Archive) como semeadores
  • Fabricantes de hardware (Apple, Intel) e desenvolvedores de SO (Microsoft, Google) para infraestrutura de proveniência
  • Organismos internacionais de padronização (ISO, ITU, W3C) para interoperabilidade
  • Financiamento governamental (NSF, programas-quadro da UE) para investimento em bens públicos
  • Organizações da sociedade civil (EFF, AI Now Institute) para pressão de responsabilização

Gemini Pro chama isso de "Coalizão dos Relutantes" — reconhecendo que incentivos econômicos devem ser sobrepostos por mandato.

[Consenso: ALTO na necessidade; MODERADO na viabilidade. Todos os modelos reconhecem que isso é principalmente um problema de coordenação e incentivo, não um mistério técnico. As forças econômicas pressionando contra a infraestrutura de dados limpos são identificadas como formidáveis por todos os respondentes.]


7. RESOLVENDO TENSÕES E CONTRADIÇÕES

O Paradoxo dos Dados Sintéticos

Todos os modelos reconhecem tensão genuína: a geração de dados sintéticos tem usos legítimos e valiosos em ambientes de pesquisa controlados (aumento de dados para línguas sub-representadas, imagem médica, domínios de pequenas amostras). O problema não são dados sintéticos per se — são dados sintéticos não controlados em escala de internet sem controle de qualidade, sem rastreamento de proveniência e sem mecanismo de exclusão dos pipelines de treinamento. A posição de síntese: dados sintéticos são uma ferramenta poderosa que deve ser posta em quarentena do substrato de treinamento aberto, análogo a como isótopos radioativos são inestimáveis em medicina, mas catastróficos quando liberados no abastecimento de água.

Incerteza do Cronograma de Degradação

Os modelos diferem em cronogramas específicos. Grok projeta colapso de raciocínio de 30–40% até 2029; Claude Opus é mais cauteloso, observando que as práticas de laboratório são opacas. GPT-5.4 descreve a relação como "direta e exponencial" sem se comprometer com anos específicos. Resolução: O mecanismo matemático está bem estabelecido e a direção é inequívoca. O ritmo depende de variáveis que são atualmente inobserváveis (práticas de filtragem de laboratório, proporção de dados sintéticos em execuções de treinamento reais). A postura analítica prudente é tratar isso como um risco de movimento rápido com cronogramas incertos, mas potencialmente curtos — medido em anos, não décadas.

O Acelerador do "Efeito de Seleção"

Claude Opus identifica de forma única uma dinâmica de composição que merece elevação: à medida que o conteúdo gerado por humanos se torna mais raro na web aberta, os humanos que antes o tornavam valioso estão se retirando para espaços fechados e curados (canais privados do Slack, publicações pagas, redes verificadas). Este efeito de seleção acelera o colapso — a web aberta é cedida ao conteúdo sintético, tornando os dados de treinamento futuros ainda mais pesadamente contaminados. Este é um ciclo vicioso sem equilíbrio natural além de a web aberta se tornar funcionalmente inútil para treinamento.


8. O QUE ACONTECE SE NÃO AGIRMOS

Trajetória Projetada (Sintetizada Através de Todos os Modelos)

Curto prazo (2025–2027): Modelos treinados em dados web majoritariamente sintéticos exibem estreitamento mensurável da representação do conhecimento. Domínios raros e especializados degradam primeiro. A contaminação do conhecimento acadêmico acelera à medida que artigos gerados por IA entram nas redes de citação. Ferramentas de detecção permanecem inadequadas.

Médio prazo (2027–2030): Sistemas downstream em saúde, direito, educação e política começam a produzir saídas sistematicamente degradadas. A retirada humana da web aberta acelera, criando uma morte

Canonical Citation

Please cite the original English version for academic references:

https://aethercouncil.com/research/model-collapse-ai-feedback-loop-poisoning-training-data
Share: