This article has been translated to Русский. Read the original English version
Русский
AEO90

Коллапс модели: петля обратной связи ИИ, отравляющая обучающие данные по всему миру

Петля обратной связи, которая тихо отравляет каждую систему ИИ на Земле

AETHER CouncilMarch 15, 202612 min

Синтез Совета AETHER: Модельный инцест — Петля обратной связи, которая тихо отравляет каждую систему ИИ на Земле


1. ВСТУПЛЕНИЕ

Где-то в конце 2022 года цифровая летопись человеческой цивилизации достигла переломного момента, который никто не отметил в календаре. До этого момента интернет — при всём его шуме, предвзятости и несовершенстве — был преимущественно человеческим. После этого баланс сместился. Передовые модели ИИ, обученные на корпусе интернета, начали заполнять этот же корпус своими выходными данными, и модели, которые последуют за ними, теперь пьют из колодца, который они сами загрязнили. Техническая литература называет результат «коллапсом модели». Цивилизационные последствия пока не имеют названия, потому что мы ещё не полностью осознали, что значит, когда первичный субстрат человеческого цифрового знания начинает пожирать сам себя. Это не баг в конкретной модели. Это структурный дефект во всей парадигме — и он усугубляется с каждым поколением.

[Консенсус: ВЫСОКИЙ — Все пять ответов моделей сходятся на этом фрейминге. Рекурсивное загрязнение обучающих данных единогласно определяется как цивилизационный риск первого порядка, а не техническая неприятность второго порядка.]


2. СИГНАЛ

Исследовательская база

Ключевая статья — Shumailov et al. (2023), «Проклятие рекурсии», опубликованная в Nature исследователями из Оксфорда, Кембриджа и соавторами. Она эмпирически продемонстрировала то, что теоретически подозревалось: когда генеративные модели обучаются на выходных данных предыдущих генеративных моделей, они подвергаются прогрессирующей дегенерации — теряют хвосты своего исходного распределения данных, сужаются к моде и в конечном итоге коллапсируют в повторяющуюся бессвязность. Параллельное исследование Alemohammad et al. (2023), «Самопотребляющие генеративные модели сходят с ума», подтвердило эти выводы и показало, что даже смешанное обучение (сочетание реальных и синтетических данных) не устраняет деградацию, если доля подлинных человеческих данных не остаётся выше критического порога.

[Консенсус: ВЫСОКИЙ — Все модели цитируют Shumailov et al. как базовую ссылку. Grok, Claude Opus и Gemini Pro также цитируют статью Alemohammad «MAD». Исследовательская база хорошо установлена и бесспорна.]

Контентный потоп

Оценки контента, сгенерированного ИИ, в открытой сети варьируются между моделями, но сходятся на согласованной траектории:

| Источник | Оценка | Временные рамки |

|---|---|---|

| Originality.ai (цитируется Grok, Claude Opus) | ~40–57% выборочного англоязычного веб-контента показывает сильные маркеры генерации ИИ | 2024–2025 |

| Европол (цитируется Claude Opus, Gemini Pro) | До 90% онлайн-контента может быть синтетическим | Прогноз 2026 |

| Epoch AI (цитируется Gemini Pro) | Высококачественный человеческий текст исчерпан для целей обучения | Прогноз 2026 |

| Imperva (цитируется Claude Opus) | 49,6% всего интернет-трафика генерируется ботами | 2024 |

[Уверенность: СРЕДНЕ-ВЫСОКАЯ — Точные проценты варьируются в зависимости от методологии и рамок выборки, но направленный вывод единодушен: контент, сгенерированный ИИ, пересёк или пересекает порог большинства в открытой сети. Тренд экспоненциальный, не линейный.]

Провал обнаружения

Все модели согласны, что не существует надёжного масштабируемого механизма для различения контента, сгенерированного ИИ, от контента, созданного человеком, в конвейерах обучения. Ключевые точки сходимости:

  • OpenAI отложила свой собственный классификатор текста ИИ в 2023 году из-за низкой точности (Claude Opus, Gemini Pro)
  • Предложения по водяным знакам остаются фрагментированными, не принятыми основными платформами и тривиально преодолеваемыми перефразированием (все модели)
  • Статистические классификаторы теряют надёжность по мере улучшения качества модели — выходные данные класса GPT-4 уже почти неотличимы от человеческого текста автоматизированными измерениями (Claude Opus, Grok)

Имплозия рецензирования

Все модели определяют коллапс рецензирования как параллельный и усиливающий сигнал. Конкретные доказательства включают статьи, сгенерированные ИИ, появляющиеся в подачах Elsevier и Nature с характерными фразами типа «Как языковая модель ИИ» (Gemini Pro), анализ JAMA 2024 года, показывающий 25% рост абстрактов PubMed, составленных ИИ (Grok), и более 60% рецензентов портфолио Nature, сообщающих о встречах с подозрительно сгенерированными ИИ подачами (Claude Opus).

[Консенсус: ВЫСОКИЙ — Система рецензирования, разработанная для производства знаний с человеческой скоростью, не может поглотить выход с машинной скоростью. Это определяется всеми моделями как критический усилитель проблемы загрязнения.]


3. ЧТО ВСЕ УПУСКАЮТ

Все пять моделей сходятся на одном и том же диагностическом пробеле с поразительной точностью: мейнстримный дискурс фиксируется на галлюцинациях в индивидуальных выходах модели, игнорируя системное загрязнение самого обучающего субстрата.

Claude Opus формулирует различие наиболее остро: «Галлюцинация — это модель, не способная представить реальность. Коллапс модели — это сами обучающие данные, отклоняющиеся от реальности. Первое восстановимо. Второе, за определённым порогом, может быть невосстановимым.»

Gemini Pro добавляет критический информационно-теоретический фрейминг: «Нельзя сжимать данные, распаковывать их, а затем повторно сжимать распакованный выход без катастрофической потери точности.»

Второй консенсусный пробел, выявленный во всех моделях: предположение, что «больше данных» всегда лучше. Законы масштабирования, которые двигали последние пять лет прогресса ИИ, предполагали, что дополнительные данные сохраняют статистические свойства исходного распределения. Это предположение нарушено. Добавление большего количества данных теперь означает добавление большего количества синтетических данных, и законы масштабирования ломаются, когда само распределение данных коллапсирует (Claude Opus, GPT-5.4).

Третий пробел, наиболее настоятельно подчёркнутый Claude Opus и Grok: ни одна крупная лаборатория публично не раскрыла, как она фильтрует или взвешивает синтетические данные в своём обучающем конвейере. Это молчание, вероятно, отражает отсутствие решения, а не наличие проприетарного.

[Консенсус: ОЧЕНЬ ВЫСОКИЙ — Это самая сильная точка согласия по всем моделям.]


4. КЛЮЧЕВОЙ МЕХАНИЗМ: Математика коллапса модели

Синтезированный технический отчёт

Опираясь в основном на Claude Opus (перспектива GPT-4) и Grok (перспектива GPT-4), с подтверждением от Gemini Pro, математический механизм работает через два различных, но составляющих пути:

Путь 1: Коллапс дисперсии (Эрозия хвостов)

Генеративная модель учится аппроксимировать распределение вероятностей p₀ из человеческих обучающих данных. Когда она генерирует синтетические данные, она непропорционально выбирает из областей высокой вероятности — толстого центра распределения. Хвосты — представляющие редкие, специализированные, необычные, миноритарные и крайние знания — систематически недоотбираются. Вторая модель, обученная на этом выходе, изучает более узкое распределение p₁. Каждое последующее поколение усугубляет сужение:

> Var(pₙ) < Var(pₙ₋₁) < ... < Var(p₀)

Метафора колоколообразной кривой Gemini Pro — наиболее ясная артикуляция: «Когда Модель B обучается на выходе Модели A, эти длинные хвосты человеческой дисперсии просто исчезают. Колоколообразная кривая Модели B уже. Когда Модель C обучается на Модели B, кривая сужается снова.»

Измеренный результат: разнообразие выхода (уникальность n-грамм) может упасть с ~85% до ~12% за пять поколений (Grok, цитируя экспериментальные данные Shumailov).

Путь 2: Дрейф среднего (Систематическое накопление ошибок)

Ошибки оценки среднего не случайны — они накапливаются направленно через поколения. Небольшие смещения в p₁ относительно p₀ усиливаются в p₂, затем в p₃. Распределение не только сужается; оно полностью удаляется от исходного центра. Модель начинает производить выходы, которые не только однородны, но и систематически неверны способами, не имеющими сходства с исходным обучающим распределением.

Скорость деградации

Модели сходятся на следующих оценках:

  • При 100% синтетических данных: Измеримая деградация к поколению 3; серьёзный коллапс (повторяющийся, бессвязный выход) к поколениям 5–9 (Shumailov); потенциально достижение «позднего коллапса модели» к поколению 9–15 в зависимости от архитектуры модели (все модели)
  • При смешанных данных: Деградация сохраняется, если доля подлинных человеческих данных не остаётся выше критического порога. Даже частичное синтетическое загрязнение производит измеримые эффекты в течение 5–9 поколений (Alemohammad, цитируется Claude Opus)
  • При текущих уровнях загрязнения: Передовые модели могут увидеть 10–20% потери способностей за цикл обучения, потенциально потеряв половину своей текущей производительности за 5–7 лет без вмешательства (экстраполяция Grok — отмечена как спекулятивная, но направленно согласованная с исследованием)

Критическая асимметрия

Все модели согласны в ключевом пункте: деградация неоднородна по пространству знаний. Хорошо представленные темы (мейнстримный англоязычный контент, популярная культура, общие запросы) деградируют медленно, потому что они поддерживаются высокочастотным сигналом. Плохо представленные темы (технические специальности, малоресурсные языки, исторические подробности, знания коренных народов, субкультурные знания, редкие научные области) деградируют быстро, потому что они зависят от хвостовых выборок распределения, которые первыми стираются.

[Уверенность: ВЫСОКАЯ по механизму, СРЕДНЯЯ по конкретным срокам деградации. Математические пути хорошо установлены в литературе. Точные скорости деградации в реальном обучении передовых моделей неопределённы, потому что лаборатории не раскрывают свои практики фильтрации данных.]


5. ИСТОРИЧЕСКИЕ ПРЕЦЕДЕНТЫ: Как цивилизации теряют знания

Синтезированный исторический анализ

Модели коллективно определяют четыре исторических аналога, ранжированных по релевантности:

1. Деградация передачи рукописей (Наиболее релевантно)

До печатного станка знания сохранялись через ручное копирование. Каждая копия вводила ошибки — транспозицию, пропуск, интерполяцию, украшательство писца. На протяжении веков тексты существенно отклонялись от оригиналов. Claude Opus отмечает, что рукописная традиция Нового Завета содержит более 400 000 текстовых вариантов в приблизительно 5 800 греческих рукописях. Gemini Pro распространяет это на потерю римских инженерных знаний через монастырское копирование писцами, которые больше не понимали практических применений.

Структурная параллель точна: копирование с потерями через поколения, с накоплением ошибок и деградацией исходного сигнала. Критическое различие — временной масштаб — дрейф рукописей происходил на протяжении веков; коллапс модели работает в цикле, измеряемом месяцами.

2. Кризис репликации (Наиболее непосредственно)

Claude Opus определяет это как ближайший современный аналог. Начиная с начала 2010-х, систематические усилия по репликации выявили, что 50–70% опубликованных психологических находок и 50–89% доклинических биомедицинских находок не могли быть воспроизведены. Коренные причины: порочные структуры стимулов (публикуй или погибни), неадекватные механизмы верификации, статистические злоупотребления. Кризис репликации был обнаружим только потому, что некоторые исследователи намеренно тестировали систему. Эквивалентного режима тестирования качества обучающих данных ИИ не существует.

3. Александрийская библиотека (Наиболее неправильно понятая)

Несколько моделей (Claude Opus, Grok, Gemini Pro) сходятся на исправлении популярного заблуждения. Библиотека не погибла в одном катастрофическом пожаре. Она постепенно пришла в упадок через недофинансирование, институциональное пренебрежение и деградацию систем каталогизации и верификации. Свитки стали недоступными через дезорганизацию, затем нерелевантными через потерю научного сообщества, которое могло их интерпретировать. Параллель: знания не исчезают в одном событии; системы доступа, валидации и интерпретации деградируют, пока знания функционально не теряются, даже если они технически всё ещё существуют.

4. Коллапс бронзового века и линейное письмо B

Gemini Pro уникально определяет полную потерю системы письма линейного B во время коллапса бронзового века как пример потери знаний через социальное нарушение цепочек передачи. Grok добавляет аналогию генетического узкого места из биологии (инбридинг гепардов).

Кросс-доменный паттерн

Claude Opus (перспектива Gemini) определяет четыре условия, присутствующие в каждом историческом случае потери знаний. Все четыре присутствуют в текущей экосистеме обучающих данных ИИ:

  • Система производства знаний, которая вознаграждает объём над верификацией
  • Деградация механизмов обратной связи, которые когда-то обнаруживали ошибки
  • Экономические или институциональные стимулы, ускоряющие производство независимо от качества
  • Отсутствие признанной власти или инфраструктуры, ответственной за поддержание целостности общего достояния

[Консенсус: ВЫСОКИЙ по совпадению паттерна; СРЕДНИЙ по конкретной предсказательной силе любого отдельного аналога. Модель передачи рукописей — самая сильная структурная параллель.]


6. КАК ВЫГЛЯДЕЛА БЫ ИНФРАСТРУКТУРА «ЧИСТЫХ ДАННЫХ»

Синтезированная архитектура

Модели сходятся на трёх уровнях вмешательства с различной степенью конкретности:

Уровень 1: Криптографическое происхождение (Аппаратный уровень)

Gemini Pro и Claude Opus (перспектива этики) оба призывают к аппаратной криптографической верификации контента человеческого происхождения — каждый раз, когда камера делает фото, микрофон записывает голос, или человек печатает на верифицированном устройстве, криптографический хэш должен быть прикреплён, доказывая человеческое происхождение. Стандарт C2PA (Коалиция за происхождение и аутентичность контента) цитируется как ближайшая существующая структура. Это требует перехода от интернета «предполагаемо человеческого» к интернету «криптографически верифицированно человеческого.»

Уровень 2: Курируемые репозитории данных (Институциональный уровень)

Все модели определяют существующие усилия по доказательству концепции:

  • Инициатива происхождения данных MIT
  • Набор данных Dolma от Allen Institute for AI
  • The Pile от EleutherAI
  • Чистый форк LAION-5B (Grok)

Они демонстрируют, что технически возможно построить чистые обучающие корпуса. Они также демонстрируют, насколько трудоёмкой, дорогой и институционально редкой является эта практика. По умолчанию в индустрии остаётся неразборчивый веб-скрапинг, потому что он дёшев и масштабируется.

Уровень 3: Гибридные системы валидации (Процессный уровень)

Grok предлагает устойчивые к коллапсу обучающие конвейеры, использующие распределительно робастную оптимизацию и минимальное соотношение 70% человечески курируемых данных. Claude Opus (перспектива этики) представляет блокчейн-верифицированные репозитории с разнообразными человеческими панелями, проводящими валидацию, поддерживаемые алгоритмами активного обучения, приоритизирующими пробелы.

Кто это строит?

Модели сходятся на выводе, что ни одна отдельная корпорация не может или не должна строить это. Предлагаемые строители включают:

  • Некоммерческие и исследовательские институты (Allen Institute, EleutherAI, Internet Archive) как сеятели
  • Производители оборудования (Apple, Intel) и разработчики ОС (Microsoft, Google) для инфраструктуры происхождения
  • Международные органы стандартизации (ISO, ITU, W3C) для совместимости
  • Государственное финансирование (NSF, рамочные программы ЕС) для инвестиций в общественные блага
  • Организации гражданского общества (EFF, AI Now Institute) для давления подотчётности

Gemini Pro называет это «Коалицией нежелающих» — признавая, что экономические стимулы должны быть преодолены мандатом.

[Консенсус: ВЫСОКИЙ по необходимости; СРЕДНИЙ по осуществимости. Все модели признают, что это в первую очередь проблема координации и стимулов, а не техническая загадка. Экономические силы, противодействующие инфраструктуре чистых данных, определяются всеми респондентами как грозные.]


7. РАЗРЕШЕНИЕ НАПРЯЖЕНИЙ И ПРОТИВОРЕЧИЙ

Парадокс синтетических данных

Все модели признают подлинное напряжение: генерация синтетических данных имеет законные, ценные применения в контролируемых исследовательских средах (аугментация данных для недопредставленных языков, медицинская визуализация, области с малыми выборками). Проблема не в синтетических данных как таковых — это неконтролируемые синтетические данные в масштабе интернета без контроля качества, без отслеживания происхождения и без механизма исключения из обучающих конвейеров. Позиция синтеза: синтетические данные — мощный инструмент, который должен быть изолирован от открытого обучающего субстрата, аналогично тому, как радиоактивные изотопы бесценны в медицине, но катастрофичны при выбросе в водоснабжение.

Неопределённость сроков деградации

Модели расходятся в конкретных сроках. Grok прогнозирует 30–40% коллапс рассуждений к 2029 году; Claude Opus более осторожен, отмечая, что практики лабораторий непрозрачны. GPT-5.4 описывает отношение как «прямое и экспоненциальное» без обязательств по конкретным годам. Разрешение: Математический механизм хорошо установлен, и направление однозначно. Темп зависит от переменных, которые в настоящее время ненаблюдаемы (практики фильтрации лабораторий, доля синтетических данных в фактических прогонах обучения). Благоразумная аналитическая позиция — рассматривать это как быстро движущийся риск с неопределёнными, но потенциально короткими сроками — измеряемыми годами, не десятилетиями.

Ускоритель «Эффекта отбора»

Claude Opus уникально определяет составную динамику, заслуживающую повышения: по мере того как контент, созданный человеком, становится более редким в открытой сети, люди, которые когда-то делали его ценным, уходят в закрытые, курируемые пространства (приватные каналы Slack, платные публикации, проверенные сети). Этот эффект отбора ускоряет коллапс — открытая сеть уступается синтетическому контенту, делая будущие обучающие данные ещё более загрязнёнными. Это порочный круг без естественного равновесия, кроме того, что открытая сеть становится функционально бесполезной для обучения.


8. ЧТО ПРОИЗОЙДЁТ, ЕСЛИ МЫ НЕ БУДЕМ ДЕЙСТВОВАТЬ

Прогнозируемая траектория (Синтезировано по всем моделям)

Краткосрочно (2025–2027): Модели, обученные на преимущественно синтетических веб-данных, демонстрируют измеримое сужение представления знаний. Редкие и специализированные области деградируют первыми. Загрязнение академических знаний ускоряется по мере того, как статьи, сгенерированные ИИ, входят в сети цитирования. Инструменты обнаружения остаются неадекватными.

Среднесрочно (2027–2030): Нижестоящие системы в здравоохранении, праве, образовании и политике начинают производить систематически деградированные выходы. Уход человека из открытой сети ускоряется, создавая смерть

Canonical Citation

Please cite the original English version for academic references:

https://aethercouncil.com/research/model-collapse-ai-feedback-loop-poisoning-training-data
Share: