# Автоматизация недокументированных процессов: цена | Auspex > Одна модель, те же 70 задач: 26% без описанных правил и 99% с ними. Что это значит для автоматизации недокументированных процессов и что именно нужно записать. Source: https://auspex.company/ru/blog/undocumented-process-agent-blindspot/ [Блог](/ru/blog/) / Field Notes # Автоматизация недокументированных процессов: сколько стоит то, что никто не записал Автор: Андрей Марьясов · 25 авг. 2026 г. · 10 мин чтения Автоматизация недокументированных процессов проваливается не из-за слабой модели. В августе 2026 года авторы бенчмарка DiG-bench устроили прямую проверку: одна и та же Gemini 3.1 Pro на тех же 70 задачах взяла 18 из 70, когда правила нужно было открыть самостоятельно, и 69 из 70, когда ей просто дали короткое описание этих правил, — 26% против 99%. Разница между провалом и почти идеальным результатом была не в модели, не в агентной обвязке и не в бюджете, а в том, существовал ли текст. Auspex разбирает, что из этого переносится на бизнес-процессы и, главное, что именно нужно записать: описание, которое сработало в эксперименте, устроено совсем не так, как типичный регламент. На демо пилот отрабатывает безупречно, в проде агент начинает делать странные вещи, команда идёт искать модель посильнее. Через месяц с новой моделью повторяется то же самое, только дороже. Соблазн объяснить это качеством модели велик: такое объяснение даёт понятный следующий шаг. А в августе 2026 года вышел бенчмарк, который измерил совсем другой фактор. ## Эксперимент, который измерил цену незаписанного правила DiG-bench (Discovery in Games) опубликовали 12 августа 2026 года. Работу вела исследовательская группа Thinking About Thinking в сотрудничестве с Оксфордом, Принстоном, MIT, Inria и KAUST; среди соавторов — Юрген Шмидхубер, Джошуа Тененбаум, Томас Гриффитс и Три Дао. Устроен он так: 70 текстовых игр, у каждой свои правила преобразований. Ни правила, ни условие победы игроку не известны: единственный способ их узнать — взаимодействие, то есть сделать ход, посмотреть, что изменилось, и поправить гипотезу. Игры разложены по семи уровням сложности, 21 игру авторы открыли публично, а 49 оставили закрытыми для честных замеров. Отдельно отмечено, что этих игр больше нигде в интернете нет, так что модель не могла видеть их при обучении — вопрос загрязнения данных здесь просто не возникает. Авторы провели прямую абляцию: взяли Gemini 3.1 Pro и дали ей те же 70 игр, но на этот раз с текстом правил на руках. > Giving Gemini access to the ground-truth rules of the game, specified in concise natural language, raises the win rate from 18/70 to 69/70 games. > > — DiG-bench: Discovery in Games, arXiv:2608.12593 Разницей между этими числами был короткий текст, которого в первом случае просто не существовало. Вывод авторы формулируют без смягчений: главная сложность их бенчмарка — именно выяснить правила. ## Что именно давали модели — и чего в том описании не было Описание, которое подняло результат до 99%, авторы характеризуют очень точно: оно кратко излагало динамику игры и условие победы, но не содержало ничего, что относится к политике поведения, — ни стратегий, ни тактик, ни последовательностей ходов. > These rules summarized the dynamics of the game and the win condition; but they excluded any policy-related information like strategies, tactics or move sequences. > > — DiG-bench: Discovery in Games, arXiv:2608.12593 Модели не объясняли, как играть. Ей объясняли, во что она играет и что здесь считается выигрышем. Компания, когда ей говорят «опишите процесс», обычно пишет ровно ту часть, которую из эксперимента убрали. Получается инструкция: сначала позвони, потом заведи сделку, дальше отправь КП, через три дня напомни. Это последовательность ходов. А механика — какие вообще бывают объекты, в каких состояниях они могут находиться, какие переходы разрешены, а какие нет — остаётся непроговорённой: внутри команды она выглядит очевидностью, о которой неловко говорить вслух. Механика процесса — это ответы на вопросы, которые на встречах не задают: - какие бывают сущности (заявка, клиент, сделка, возврат, рекламация) и по какому признаку одна отличается от другой - в каких состояниях бывает каждая из них и какие переходы между состояниями разрешены - чего нельзя делать никогда, каким бы разумным это ни выглядело в конкретном случае - какие есть исключения и по какому признаку их распознают — не «иногда бывает иначе», а «если клиент из списка ключевых, правило другое» - откуда берётся информация, которой нет в системе, и кто вправе её подтвердить Условие успеха — отдельный блок, и его не пишут почти никогда: - по какому наблюдаемому результату видно, что шаг выполнен правильно - кто или что это проверяет и в какой срок - чем «сделано плохо» отличается от «сделано неправильно»: это разные события с разной ценой Описание, которое сработало в эксперименте, ближе к правилам настольной игры, чем к должностной инструкции. Оно отвечает на вопрос «как здесь устроен мир и что считается выигрышем», а не на вопрос «как мне выиграть». Разница не косметическая. Инструкция описывает один маршрут и молчит обо всём, что за его пределами, поэтому агент, сошедший с маршрута, остаётся без ориентиров. Описание механики, наоборот, задаёт границы поля: внутри них агент может выбрать собственный путь, а выйти за них не может по определению. ## Инструмент получше этого не компенсирует Естественная реакция на проваленный пилот — поискать обвязку посильнее: другой фреймворк, платформу с памятью, агента с планировщиком. Авторы бенчмарка проверили и эту гипотезу. Они взяли Prime Agent — Opus 5 внутри продукта Prime Agent, — который незадолго до этого показал 95,5% на публичных играх ARC-AGI-3, и прогнали его на двух самых тяжёлых уровнях DiG-bench. Прироста по сравнению с базовой обвязкой с той же Opus 5 не было. Общий вывод сформулирован осторожно, но однозначно: существующие обвязки дают ограниченный прирост именно в способности к открытию. Обобщать этот результат не стоит: кое-что агент всё-таки открывает сам. Без правил Gemini всё равно взяла 18 игр, а сильнейшая модель набора, Opus 5, — 50 из 70. Если для каждой игры считать лучшую из всех проверенных моделей, вместе они закрывают 57 из 70, но на двух верхних уровнях — только 9 из 20. То есть неявные правила открываются, только ненадёжно, и срывы приходятся именно на сложные случаи. Для внедрения отсюда следует вполне практическая вещь. Там, где правила не записаны, вы платите не за лицензию, а разбросом результатов: агент отработает десять заявок как положено, а на одиннадцатой сделает то, чего никто не ждал. И выяснится, что правило, которое он нарушил, действительно нигде не было зафиксировано, — а значит, формально он его и не нарушал. ## Где аналогия заканчивается Бенчмарк измеряет открытие правил через активное экспериментирование в текстовых играх. У игрока там есть песочница: неудачный ход ничего не стоит, попыток можно сделать сотни. Авторы намеренно не оценивают эффективность шагов, чтобы не наказывать за исследование. Бизнес-процесс устроен иначе. Эксперимент агента здесь — это реальный звонок реальному клиенту, реальная скидка и реальный счёт. Песочницы нет, а цена неудачной гипотезы не нулевая. Поэтому переносить цифры буквально нельзя: 26% и 99% — результаты текстовых игр, а не показатели автоматизации отдела продаж. Аналогия работает в одну сторону и именно как аналогия: если модель с неограниченным числом бесплатных попыток самостоятельно выиграла 18 игр из 70, то в среде, где каждая попытка стоит денег и отношений с клиентом, оснований рассчитывать на самостоятельное открытие ещё меньше. ## Как вытащить механику из головы в текст Вопрос «расскажи, как ты это делаешь» даёт инструкцию, то есть ту самую последовательность ходов. Механика так не вытаскивается вообще: человек, который выполняет процесс десять лет, собственных правил не видит — для него это не правила, а то, как устроен мир. Работает другой тип вопросов — о границах и об исключениях: - «Что будет, если сделать наоборот?» — ответ «ну так никто не делает» почти всегда скрывает непроговорённое правило - «Когда ты в последний раз отступил от инструкции и почему?» — здесь появляется и исключение, и признак, по которому его распознали - «Какую ошибку новичок делает в первую неделю?» — это запрещённый переход, которого нет ни в одном документе - «Как ты понимаешь, что сделано хорошо, ещё до того, как придёт результат?» — критерий успеха, который обычно существует только как ощущение - «Что ты проверяешь перед тем, как нажать кнопку?» — скрытая предпосылка, без которой шаг не имеет смысла Документ, собранный после такого разговора, состоит из трёх частей: перечень сущностей и их состояний, перечень запрещённых переходов с причинами, критерий успеха с описанием того, кто и как его проверяет. Стратегии, приёмы и советы «как лучше» сюда не входят — их пишут отдельно и для людей. Проверить полноту описания можно простым способом: дайте его человеку, который процесса не знает, и попросите назвать ситуацию, в которой документ не подсказывает, что делать. Каждая такая ситуация — ровно то место, где агент начнёт угадывать. ## Куда на самом деле уходит бюджет внедрения Смета пилота обычно состоит из интеграций, промптов, тестирования и подписки на модель. Работы по извлечению неявных правил в ней нет — её либо пропускают со словами «у нас всё описано», либо обнаруживают после запуска, когда она уже обходится в остановленный проект. Объём этой работы измеряется днями или неделями в зависимости от того, сколько исключений накопил процесс, и заложить её в план честнее, чем потом объяснять, почему пилот не вышел из тестового контура. Auspex ставит её первой именно потому, что она переносима: описанная механика остаётся у вас независимо от того, какую модель вы выберете через год и останется ли вообще на рынке та, с которой начинали. Эта работа стыкуется с предыдущей частью разбора. В материале «Бизнес, который обновляет себя сам» речь шла о том, почему рост без найма упирается в описание бизнеса, которое живёт в головах сотрудников. DiG-bench добавляет к той картине ценник: показывает, во сколько обходится тот же разрыв, когда на процесс ставят не человека, а агента, и почему докупить обвязку вместо описания не получается. ## С чего начать на этой неделе - откройте регламент процесса, который планируете отдать агенту, и поищите в нём перечень запрещённых действий — если там только последовательность шагов, описания механики у вас нет - найдите в том же документе предложение, которое отвечает на вопрос «по чему видно, что шаг выполнен правильно» - спросите человека, который ведёт процесс, когда он в последний раз отступил от инструкции, и запишите признак, по которому он это решил Если после этой проверки окажется, что процесс держится на памяти двух сотрудников, дело не в модели — и менять её нет смысла. С таким списком расхождений можно прийти на аудит CRM и автоматизаций. За одну встречу Auspex разбирает, какой из ваших процессов описан достаточно, чтобы отдать его агенту, а какой сначала нужно вытащить в текст. Страница услуги — в ссылках ниже. И мелочь, которую обычно замечают уже на втором проекте: описание механики должно жить там, откуда его читает агент, а не в презентации для руководства. Документ, который лежит отдельно от системы, расходится с реальностью примерно за квартал, и тогда у вас два источника правды вместо одного. Читать дальше - [Бизнес, который обновляет себя сам: масштабирование без найма начинается не с агентов](/ru/blog/self-updating-business/) - [Три признака, что шаг не стоит отдавать агенту](/ru/blog/agent-handoff-decision/) - [Почему автоматизация не приживается — и какую половину стоит выключить](/ru/blog/why-automations-get-abandoned/) - [Что прописать в договоре на разработку AI-агента](/ru/blog/ai-agent-contract-what-to-write/) - [Аудит CRM и автоматизаций](/ru/services/crm-audit/) Источники - [Battleday, Sandbrink, Whittington и др. — DiG-bench: Discovery in Games, arXiv:2608.12593, 12 августа 2026 (первоисточник, все цифры отсюда)](https://arxiv.org/abs/2608.12593) - [DiG-bench — официальный сайт бенчмарка и лидерборд](https://digbench.ai) - [DiG-bench — технический отчёт и базовая обвязка (GitHub)](https://github.com/discos-research/dig-bench) Андрей Марьясов основатель Auspex Основатель Auspex. Внедряет CRM и автоматизирует бизнес-процессы с 2015 года — 1 500+ проектов для 1 200+ компаний. [amaryasov.expert →](https://amaryasov.expert) ## Частые вопросы Что такое автоматизация недокументированных процессов и почему она сложнее обычной? Это автоматизация процесса, значительная часть правил которого нигде не зафиксирована и существует только как опыт конкретных сотрудников. Сложность здесь не в количестве шагов, а в том, что агент получает неполное описание и вынужден достраивать недостающую часть догадками. Бенчмарк DiG-bench измерил вклад этого фактора напрямую: одна и та же модель на тех же 70 задачах дала 18 побед из 70 без описания правил и 69 из 70 с ним. Правда ли, что AI-агент не может сам разобраться в недокументированном процессе? Может, но ненадёжно. В DiG-bench Gemini 3.1 Pro без правил выиграла 18 игр из 70, сильнейшая модель набора Opus 5 — 50 из 70, а лучшие результаты всех проверенных моделей вместе дают 57 из 70. При этом на двух самых сложных уровнях эта сумма падает до 9 из 20. Практический вывод такой: в простых случаях агент правила восстанавливает, в сложных срывается, и предсказать заранее, какой случай попадётся в проде, вы не можете. Что именно нужно записать перед внедрением AI-агента? Две вещи, которых обычно нет в регламенте: механику и критерий успеха. Механика — это перечень сущностей и их состояний, разрешённые и запрещённые переходы, исключения с признаком, по которому их распознают, источники данных вне системы. Критерий успеха — наблюдаемый результат, по которому видно, что шаг выполнен правильно, и тот, кто это проверяет. Показательно, что в эксперименте DiG-bench модели Gemini 3.1 Pro давали именно такое описание — динамику и условие победы — и намеренно исключали из него стратегии, тактики и последовательности ходов. Поможет ли модель посильнее или агентный фреймворк получше? По имеющимся данным — нет, если проблема именно в незаписанных правилах. Авторы DiG-bench проверили Prime Agent на базе Opus 5, который показал 95,5% на публичных играх ARC-AGI-3, и на самых тяжёлых уровнях он не дал прироста по сравнению с базовой обвязкой с той же моделью. Их вывод: существующие обвязки дают ограниченный прирост именно в способности к открытию новых правил. Сколько времени занимает описание процесса перед автоматизацией? Дни или недели в зависимости от того, сколько исключений накопил процесс и сколько людей выполняют его по-разному. Точную оценку даёт первая же рабочая сессия с исполнителями: количество исключений, которые всплывают за первый час разговора, хорошо предсказывает общий объём. Главное здесь не скорость, а то, что результат переносим: описанная механика остаётся в силе при смене модели, платформы или подрядчика. Можно ли переносить 26% и 99% на собственный бизнес? Нет, и это важно. DiG-bench измеряет открытие правил через экспериментирование в текстовых играх, где неудачная попытка ничего не стоит и сделать их можно сотни. В бизнес-процессе песочницы нет: попытка агента — это реальный звонок, скидка или счёт. Поэтому цифры бенчмарка — аргумент о направлении, а не прогноз результата: если при неограниченном числе бесплатных попыток модель самостоятельно выиграла лишь 18 игр из 70, то там, где каждая попытка стоит денег, рассчитывать на самостоятельное открытие оснований ещё меньше. ## Дайджест по автоматизации бизнеса 2–3 письма в месяц — что действительно работает в CRM и автоматизации. Без спама. Отписаться можно в один клик. [Бесплатный CRM-аудит →](/ru/contact/) ↳ БЕСПЛАТНЫЙ АУДИТ 30 мин · бесплатно · ↓ ## Готовы навести порядок в продажах? Бесплатный аудит ваших процессов — 30 минут, и вы получите: 1 200+ компаний с 2015 года · медиана запуска — 30 дней 01 Карту потерь в заявках 02 Приоритеты: что автоматизировать первым 03 План внедрения за 2–4 недели Перезвоним в течение 24 часов. План — ваш, даже если мы не начнём работать вместе.