Три признака того, что этот шаг не нужно отдавать агенту, — и как это проверить за 10 минут

На совещании по автоматизации обсуждают, на что способен агент. Кто-то показывает демонстрацию, агент проходит десять типовых обращений, все кивают, шаг уходит в работу. Способность при этом действительно доказана — ровно для тех десяти обращений и ровно при условии, что рядом стоит человек и смотрит. В комнате не прозвучал другой вопрос: что будет с одиннадцатым случаем в половине восьмого вечера, когда не смотрит никто.

Почему «справится ли агент» и «можно ли ему это отдать» — разные вопросы?

Anthropic в своём инженерном разборе агентных систем формулирует условие прямо: агенты уместны там, где невозможно заранее прописать фиксированный путь и где у вас есть определённый уровень доверия к их решениям. Там же стоит предупреждение о накоплении ошибок, свойственном автономной работе. Доверие в этой формулировке — не характеристика модели. Это ваше решение, и принимается оно отдельно от вопроса о качестве.

Способ сортировать такие решения описали задолго до агентов. Джефф Безос в письме акционерам за 2015 год разделил решения на два типа. Одни влекут серьёзные последствия и необратимы или почти необратимы — это двери в одну сторону, и принимать их нужно медленно, методично, с консультациями. Другие обратимы — это двери в обе стороны, и прогонять их через тяжёлую процедуру вредно. Тип задаёт одно: можно ли вернуться назад. Ни сложность решения, ни его важность здесь ни при чём.

Делегирование шага агенту сортируется по тому же признаку.

Признак первый: видно ли ошибку до последствий?

Между действием агента и последствием должна существовать точка, в которой кто-то видит результат, пока тот ещё ничего не сделал. У письма в очереди на отправку такая точка есть. У письма, которое ушло клиенту, — нет. У записи в CRM, изменённой ночью, её тоже нет: в следующий раз на неё посмотрят, когда менеджер будет поднимать историю перед звонком, и разницу между «так было» и «так записал агент» уже никто не восстановит.

Возражение на это всегда звучит одинаково: мы же будем проверять. Проблема в том, что человек плохо ловит именно тот класс ошибок, который здесь возникает. В исследовании Скитки, Мозье, Бёрдика и Розенблатт 2000 года рассматривали два типа ошибок при работе с автоматизированной подсказкой: ошибки действия, когда человек выполняет неправильное указание системы, и ошибки бездействия, когда система ничего не отметила, а человек не заметил события сам. Обучение, посвящённое этому искажению, уменьшило число ошибок первого типа и не уменьшило число ошибок второго.

Инструктаж «внимательно проверяйте за агентом» работает против ошибок, которые видно, и не работает против тишины. А в шаге без точки обзора вся ошибка и есть тишина.

Признак второй: живёт ли правильный ответ внутри системы?

Агент видит ровно то, что вы ему дали: записи в CRM, документы в базе, историю переписки, инструкцию в промпте. Если правильный ответ на этом шаге требует знать, о чём вчера договорились на словах, что с этим клиентом сейчас идёт суд или что цена для него исторически другая, «потому что так сложилось», — агент ответ всё равно выдаст. Он будет правдоподобным.

Правдоподобный ответ хуже неправильного. Неправильный ловят, потому что он режет глаз. Правдоподобный проходит дальше и всплывает через две недели в разговоре с клиентом, который искренне не понимает, откуда взялось новое условие.

Проверка здесь простая и занимает минуту: выпишите, откуда берётся правильный ответ на этом шаге. Каждый источник отдельной строкой. Если среди строк есть «из головы Марины» или «из договорённости, которой нигде нет», шаг ещё не готов к передаче.

Полезно то, что результат этой проверки редко бывает приговором. В нашей практике чаще оказывается правильным не отказаться от делегирования, а записать правило, которое до сих пор жило устно. Это работа на час-два, и она нужна в любом случае, потому что на этом же правиле спотыкается каждый новый сотрудник. Отдельный разбор случая, когда данных для агента как будто нет вообще, есть в статье «У нас нет данных для AI» ниже.

Признак третий: дороже ли последствия всей экономии?

Третий признак измеряет асимметрию. Подписанный договор, рассылка по сегменту, удалённая запись, проведённый платёж — всё это стоит столько, что годовая экономия на шаге не покрывает одного плохого случая. Дверь в одну сторону.

Счёт здесь ведётся не в прилагательных. Возьмите стоимость одного плохого результата вместе с часами на откат, умножьте на реалистичную, а не желаемую частоту и сравните с тем, сколько часов в месяц экономит делегирование. Если первое число больше — спорить не о чем, и никакое улучшение модели эту арифметику не меняет.

Важное отличие от первых двух признаков: обратимость обычно — свойство вашей конфигурации, а не самого действия. Отправка письма необратима. То же письмо, положенное в очередь с двухминутной задержкой и видимой кнопкой отмены, обратимо. Рассылка по сегменту необратима. Рассылка, которая стартует с пяти процентов базы и останавливается на пороге жалоб, обратима почти полностью. Третий признак часто можно снять инженерно, и именно с этого стоит начинать, прежде чем записывать шаг в запрещённые.

Что похоже на стоп-сигнал, но им не является?

«Агент иногда ошибается». Он всегда иногда ошибается, и человек на этом месте тоже. Сама по себе частота ошибок ничего не решает, пока вы не поставили рядом два других числа: сколько стоит одна ошибка и видно ли её. Шаг с частыми, дешёвыми и заметными ошибками — хороший кандидат на делегирование, а не плохой.

«Процесс сложный». Сложность и необратимость не связаны. Разбор десятков условий в прайсе сложен, но ошибка в нём ловится на этапе согласования и стоит пяти минут. Нажать «удалить» просто, а последствие необратимо. Сложные процессы с дешёвой ошибкой — лучшее, что можно отдать агенту первым, потому что именно там человек тратит больше всего часов на рутину.

Есть ещё третья вещь, которую стоит слышать отдельно: «мне нравится это делать». Это не критерий делегирования, но это реальный фактор приживаемости. Автоматизации, которые забирают у человека ту часть работы, за которую он себя уважает, тихо выключают — мы писали об этом в разборе того, почему одни автоматизации приживаются, а другие умирают.

Как проверить шаг за десять минут: пять вопросов

Проходить письменно, с владельцем процесса, не с разработчиком. Каждый ответ фиксировать одним предложением.

• Где останавливается действие? Назовите конкретную точку, в которой результат агента ещё не стал последствием: черновик, очередь, статус «на согласовании». Если назвать нечего, сработал первый признак.
• Кто смотрит в эту точку и зачем ему туда смотреть? Наблюдатель, у которого нет причины открывать очередь, — не наблюдатель. Причина может быть любой, лишь бы существовала: его имя под результатом, его показатель, его клиент.
• Откуда берётся правильный ответ? Выпишите источники списком. Каждая строка вида «из головы» — это либо второй признак, либо задача записать правило.
• Сколько стоит один плохой результат и за сколько часов его откатить? Две цифры, обе в деньгах и часах. Если на этот вопрос в комнате нет ответа, шаг не проходит, пока он не появится.
• Что мы делаем, когда это случится в третий раз? Не в первый, а именно в третий. Ответ «разберёмся» означает, что процедуры нет, и в третий раз вы тоже будете разбираться вручную.

Десять минут — это честное время на один шаг при условии, что в комнате сидит человек, который этот шаг реально выполняет. Если тест растянулся на час, обычно оказывается, что вы обсуждаете три склеенных шага вместо одного.

Что на самом деле означает ответ «нет» — человек делает всё руками?

Тест из пяти вопросов даёт не бинарный ответ. Полный отказ — самый редкий исход. Чаще срабатывает один из трёх выходов:

• Сузить область. Агент берёт на себя ту часть обращений, где признак не срабатывает, остальное идёт человеку по явному правилу. Правило должно быть проверкой, которую может выполнить сам агент, а не пожеланием «если случай сложный».
• Поставить чекпойнт. Агент делает всё, кроме последнего действия: готовит письмо, заполняет документ, формирует изменение в записи. Человек нажимает кнопку. Так исчезает основная часть рутины, а точка обзора остаётся на месте.
• Разрезать шаг. Обратимую часть отдать полностью, необратимую оставить человеку. Чаще всего именно здесь прячется выигрыш, потому что необратимая часть обычно занимает минуту из получасовой работы.

Чекпойнт не обязан стоять вечно. Когда вы снимете базовый замер доли приёмки и увидите, что агент месяцами не ошибается на этом типе обращений, чекпойнт можно передвинуть — но с числом на руках, а не с ощущением. Как считать эту базу, разобрано в соседнем материале о доле автономии.

Какая самая частая ошибка при передаче шага агенту?

В 1983 году Лизанн Бейнбридж описала набор эффектов, которые до сих пор лучше всего объясняют, почему автоматизация ломается именно там, где должна была помочь. Её формулировка: забирая лёгкие части задачи, автоматизация делает сложные части работы оператора ещё сложнее. Человеку остаются наблюдение и редкие тяжёлые случаи, в которых у него больше нет ежедневной практики, — и именно в этот момент от него ждут самого быстрого и самого точного вмешательства.

В агентных процессах это выглядит так. Шаг отдали агенту, человека оставили контролёром «на всякий случай». Через три месяца он видит девяносто процентов правильных результатов подряд, перестаёт читать внимательно и одновременно теряет навык делать эту работу сам. Контроль формально есть, фактически его нет.

Рабочих выходов два, и оба скучные. Либо оставьте человеку достаточно живой работы этого типа, чтобы глаз не разучился. Либо превратите сплошной контроль в выборочный и регулярный — как именно считать выборку и на какой базе сдвигать чекпойнт, разобрано в соседнем материале о доле приёмки.

Что с этим делает Auspex?

Тест из пяти вопросов мы проходим до того, как агент получает доступ к боевым данным, и проходим его с владельцем процесса, а не с ИТ. Auspex отвечает за процесс и CRM под агентом; самого агента строит и замеряет Grow2.ai — наше AI-подразделение. Ответы фиксируются письменно — не ради формальности, а потому, что после запуска тот же разговор превращается в поиск виноватого.

Универсального перечня запрещённых процессов не существует: у двух компаний одинаковый на вид шаг имеет разную обратимость и разную цену ошибки. Одинаковым остаётся одно — требование назвать точку обзора и человека в ней до старта, а не после первой жалобы. Дальше то, что решили на этом этапе, имеет смысл вынести в договор: критерий приёмки и границы автономии — именно те пункты, которые чаще всего формулируют так, что проверить их невозможно.

С чего начать на этой неделе?

• Возьмите один шаг, который вы прямо сейчас собираетесь отдать агенту, и пройдите пять вопросов письменно с тем, кто этот шаг выполняет. Десять минут, лист бумаги.
• Если застряли на третьем вопросе — это не повод отказываться. Это список правил, которые стоит записать, и он всё равно нужен для новых людей.
• Если агенты у вас уже работают, пройдите тест задним числом: на шагах, которые вы отдали три месяца назад, когда про точку обзора ещё никто не спрашивал.

Если после теста остались шаги, за которые непонятно как браться, есть два входа. Диагностика самого агента — бесплатный AI-аудит в Grow2.ai. Если вопросы шире и начинаются с процесса и CRM под агентом — аудит CRM и автоматизаций в Auspex. Обе ссылки ниже.