AI и токсичная документация

Массовое внедрение AI в работу менеджмента и экспертов формирует пузырь, который удивительно точно повторяет механику ипотечного кризиса 2008 года. Парадокс в том, что формируется он на самом видном месте. Эксперты, инвесторы, акционеры — все пристально смотрят в документацию компании (или института). Они анализируют тексты, изучают стратегические отчёты и оценивают производительность сотрудников (порождающих документы). Но качество документа не гарантируют качества экспертной информации, которая должна была отражаться конечным артефактом. Документ может быть "токсичным".

Повсеместное внедрение генеративных моделей в бизнес-процессы, документооборот и принятие решений идёт под флагом повышения эффективности, на деле создаёт скрытую угрозу: в операционную документацию, аналитику и стратегические отчёты начинают подмешиваться материалы, созданные нейросетями, которые внешне выглядят добротно, но внутри могут содержать глобальные фактические ошибки, логические провалы и "галлюцинации".
Подразумевается, что эксперт держит в голове не только общие знания, но и сеть актуальных для его процесса акторов. На основе этого знания он порождает контекстно-ориентированную экспертизу - документ. Но AI так не умеет, в отдельном документе от "AI - эксперта" всё связно, а в рамках контекста процесса возникнет противоречие. Если документ перестает быть носителем экспертизы, организация теряет способность отличать правду от правдоподобия.
Отсюда можно формально сформулировать:

Экспертиза — документ, содержащий реальные представления эксперта о процессе.

Токсичный документ — это документ, который:

• противоречит другим документам системы;

• или не имеет проверяемой связи с реальностью;

• или создаёт ложную согласованность при отсутствии фактов.

Предпосылка 1. KPI

Корпоративный мир построен на системе метрик и поощрений. Последние тридцать лет повсеместно стал внедряться подход, где сотрудников оценивают по динамичным измеримым показателям: количество строк кода, число закрытых задач, объем подготовленной документации, скорость реакции на запросы. Сама по себе логика KPI не плоха — она создает операционную предсказуемость и прозрачность. Но KPI не отслеживает сквозную связность, существуя в рамках предпосылки "эксперт = экспертиза".

Предпосылка 2. AI

И есть вторая сторона. Появляется инструмент, позволяющий штамповать "артефакты метрик" (отчеты, код, аналитические записки) в десять раз быстрее. И сотрудник оказывается перед простым выбором. Он может потратить три дня на глубокую проработку вопроса, а может сгенерировать правдоподобный текст за три минуты, причесать — и получить те же бонусы за "высокую производительность". Здесь экспертиза отделяется от эксперта.

В начале двухтысячных ипотечная облигация существовала и развивалась в рамках предпосылки "ипотеку берёт человек, который рассчитывает её выплатить". Ведь выдать необеспеченные ипотеки невыгодно банкам, а рисковать жильём невыгодно клиенту.

Всё сломалось задолго до 2008, когда предпосылка была принята за данность и ипотечные брокеры стали получать бонусы за число выданных ипотек. Без проверки их качества.

"Оформленный документ содержит экспертизу, если он оформлен (синтезирован) экспертом". Ведь поощрять "плохую" экспертизу невыгодно компании, а рисковать работой невыгодно эксперту. KPI существует на этой предпосылке. AI ломает эту предпосылку.

Хорошо выглядящий документ от эксперта теперь не обязана быть экспертизой. А без экспертизы теряется "согласованность системы знаний" компании. Т.е. документ теперь может стать "точкой энтропии знаний" в рамках компании. На сцене появляется токсичный документ.

Эксперт локально заинтересован в выполнении KPI, а не составлении экспертизы. Много токсичных документов повышают KPI больше, чем экспертиза.

Инвесторы и акционеры, глядя на высокие показатели "производительности", вкладывают средства, полагая, что активы компании обеспечены реальной экспертизой, тогда как на самом деле значительная их часть становится "токсичной" — подобно субстандартным ипотечным облигациям, которые до поры выглядели надёжными благодаря рейтингам AAA.

И сейчас не существует дешёвого и масштабируемого способа фильтрации "токсичных документов" от экспертизы. Мы сталкиваемся с ситуацией, когда стоимость генерации правдоподобия стремится к нулю, а стоимость верификации остаётся высокой.

Один токсичный документ заражает всю цепочку документов прямо или косвенно ссылающихся на него. Т.е. все документы в такой цепочке становятся токсичными.
Те кому предстоит оценить операционную ценность компании и качество её процессов по документации не смогут понять, что имеют дело с "зараженным" активом. Ведь, как сказано ранее, уровень "правдоподобия" токсичного документа высок. Что достаточно для прохождения проверок и соответствия метрикам "качества документа" KPI. Внешне всё выглядит безупречно. Точно так же, как облигации, обеспеченные субстандартными кредитами, получали рейтинг AAA — потому что рейтинговые агентства смотрели на упаковку, а не на содержимое.

Возникает разрыв: метрики производительности растут, а реальное качество активов падает. Инвесторы вкладывают деньги, полагая, что покупают компании с глубокой экспертизой, а на деле приобретают токсичные процессы.

Красиво упакованные облигации скрывали пустоту. Красиво написанные стратегии скрывают логические провалы. Если текст может ломать программы, почему он не может ломать корпорации и институты?

Риски накапливаются скрытно. Но уже можно наблюдать за тревожными звонками для мира документации:
1) "Amazon ввела обязательный ревью ИИ-кода после сбоя на 6 часов" - https://habr.com/ru/news/1008860/
2) "Ошибки в отчётах Deloitte с AI‑сгенерированными источниками" - https://oecd.ai/en/incidents/2025-11-26-f9ab
3) "Серия инцидентов с AI‑ошибками в судебных актах" - https://www.washingtonpost.com/nation/2025/10/29/federal-judges-ai-court-orders/
4) "AI‑галлюцинации в научных конференциях (NeurIPS 2025)" - https://theoutpost.ai/news-story/ai-detection-startup-finds-100-hallucinated-citations-in-neur-ips-research-papers-23179/
и т.д.
Пока что не было крупных случаев глобального подрыва доверия ко всей системе внутренней документации определенного компании или института с цепной реакцией потери доверия к понятию "документация".

По моему мнению, это вопрос времени.

Как бы это грустно или страшно не звучало, но вернулось время настоящего радикального "реинжиниринга процессов". Того самого, из книги Майкла Хаммера и Джеймса Чампи «Реинжиниринг корпорации. Манифест революции в бизнесе». Процессы, связанные с документацией должны быть не просто автоматизированы, но реально перестроены под новые технологии. С учётом всех ограничений и возможностей AI.

Опыт 2008 года показывает, что механизм фильтрации токсичных активов появился после кризиса. Так что, по моему мнению, выбор не большой - или рисковать с радикальной перестройкой процессов или надеяться, что кризиса не случится.
В рамках иллюстраций использовались гравюры Альбрехта Дюрера, человека живущего в эпоху когда рукописи и печатные книги сосуществовали. Прекрасное сочетание поздней готики и раннего возрождения.
Обложка статьи: Святой Иероним в келье. Гравюра Альбрехта Дюрера. 1511 год
Иллюстрации в статье: Четыре всадника Апокалипсиса. Гравюра Альбрехта Дюрера. Около 1497–1498 годов ; Рыцарь, Смерть и Дьявол. Гравюра Альбрехта Дюрера. 1513 год.
Благодарность чату Свидетелей Сингулярности за экспертную оценку и конструктивное уточнение идей, лёгших в основу данной статьи.