Три ознаки того, що цей крок не треба давати агенту — і як це перевірити за 10 хвилин

На нараді про автоматизацію обговорюють спроможність. Хтось показує демонстрацію, агент проходить десять типових звернень, усі кивають, крок іде в роботу. Спроможність при цьому справді доведено — рівно для тих десяти звернень і рівно за умови, що поруч стоїть людина й дивиться. У кімнаті не прозвучало інше питання: що буде з одинадцятим випадком о пів на восьму вечора, коли не дивиться ніхто.

Чому «чи впорається агент» і «чи можна йому це віддати» — різні питання?

Anthropic у своєму інженерному розборі агентних систем формулює умову прямо: агенти доречні там, де неможливо заздалегідь прописати фіксований шлях, і де у вас є певний рівень довіри до їхніх рішень. Там же стоїть попередження про накопичення помилок, властиве автономній роботі. Довіра в цьому формулюванні не є характеристикою моделі. Це ваше рішення, і ухвалюється воно окремо від питання про якість.

Спосіб сортувати такі рішення описали задовго до агентів. Джефф Безос у листі до акціонерів за 2015 рік поділив рішення на два типи. Одні наслідкові й незворотні або майже незворотні, двері в один бік, і їх треба ухвалювати повільно, методично, з консультаціями. Інші зворотні, двері в обидва боки, і витрачати на них важку процедуру шкідливо. Тип задає одне: чи можна повернутися назад. Ні складність рішення, ні його важливість тут ні до чого.

Делегування кроку агенту сортується за тією самою ознакою.

Ознака перша: чи видно помилку до наслідку?

Між дією агента й наслідком має існувати точка, у якій хтось бачить результат, поки той ще нічого не зробив. Лист у черзі на відправку таку точку має. Лист, який пішов клієнту, — ні. Запис у CRM, змінений уночі, теж не має: наступного разу на нього подивляться, коли менеджер підніматиме історію перед дзвінком, і різницю між «так було» і «так записав агент» уже ніхто не відновить.

Заперечення на це звучить завжди однаково: ми ж будемо перевіряти. Проблема в тому, що людина погано ловить саме той клас помилок, який тут виникає. У дослідженні Скітки, Мозьє й Бердіка 1999 року помилки при роботі з автоматизованою підказкою розділили на два типи: помилки дії, коли людина виконує неправильну вказівку системи, і помилки бездіяльності, коли система нічого не позначила, а людина не помітила події сама. Навчання, присвячене цьому упередженню, зменшило кількість помилок першого типу й не зменшило кількість помилок другого.

Інструктаж «уважно перевіряйте за агентом» працює проти помилок, які видно, і не працює проти тиші. А в кроці без точки огляду вся помилка і є тишею.

Ознака друга: чи живе правильна відповідь усередині системи?

Агент бачить рівно те, що ви йому дали: записи в CRM, документи в базі, історію листування, інструкцію в промпті. Якщо правильна відповідь на цьому кроці вимагає знати, про що домовились учора голосом, що з цим клієнтом зараз іде суд, або що ціна для нього історично інша «бо так склалось», — агент відповідь усе одно видасть. Вона буде правдоподібною.

Правдоподібна відповідь гірша за неправильну. Неправильну ловлять, бо вона муляє. Правдоподібна проходить далі й спливає через два тижні в розмові з клієнтом, який щиро не розуміє, звідки взялася нова умова.

Перевірка тут проста й займає хвилину: випишіть, звідки береться правильна відповідь на цьому кроці. Кожне джерело окремим рядком. Якщо серед рядків є «з голови Марини» або «з домовленості, якої ніде немає», крок ще не готовий до передачі.

Корисно те, що результат цієї перевірки рідко буває вироком. За нашою практикою частіше правильна дія не в тому, щоб відмовитись від делегування, а в тому, щоб записати правило, яке досі жило усно. Це робота на годину-дві, і вона однаково потрібна, бо на цьому ж правилі спотикається кожен новий співробітник. Окремий розбір випадку, коли даних для агента ніби немає взагалі, є в статті «У нас немає даних для AI» нижче.

Ознака третя: чи дорожчий наслідок за всю економію?

Третя ознака вимірює асиметрію. Підписаний договір, розсилка по сегменту, видалений запис, проведений платіж — усе це коштує стільки, що річна економія на кроці не покриває одного поганого випадку. Двері в один бік.

Рахунок тут ведеться не в прикметниках. Візьміть вартість одного поганого результату разом із годинами на відкат, помножте на реалістичну, а не бажану частоту, і порівняйте з тим, скільки годин на місяць економить делегування. Якщо перше число більше — сперечатись немає про що, і жодне покращення моделі цю арифметику не змінює.

Важлива відмінність від перших двох ознак: зворотність зазвичай є властивістю вашої конфігурації, а не самої дії. Відправка листа незворотна. Той самий лист, покладений у чергу з двохвилинною затримкою й видимою кнопкою скасування, зворотний. Розсилка по сегменту незворотна. Розсилка, яка стартує з п'яти відсотків бази й зупиняється на порозі скарг, зворотна майже повністю. Третю ознаку часто можна зняти інженерно, і саме з цього варто починати, перш ніж записувати крок у заборонені.

Що схоже на стоп-сигнал, але ним не є?

«Агент іноді помиляється». Він завжди іноді помиляється, і людина на цьому місці теж. Сама по собі частота помилок нічого не вирішує, поки ви не поставили поруч два інші числа: скільки коштує одна помилка і чи її видно. Крок із частими, дешевими й помітними помилками — хороший кандидат на делегування, а не поганий.

«Процес складний». Складність і незворотність не пов'язані. Розбір десятків умов у прайсі складний, але помилка в ньому ловиться на етапі узгодження й коштує п'яти хвилин. Натиснути «видалити» просто, а наслідок незворотний. Складні процеси з дешевою помилкою — найкраще, що можна віддати агенту першим, бо саме там людина витрачає найбільше годин на рутину.

Є ще третя річ, яку варто чути окремо: «мені подобається це робити». Це не критерій делегування, але це реальний фактор приживлюваності. Автоматизації, які забирають у людини ту частину роботи, за яку вона себе поважає, тихо вимикають — ми писали про це в розборі того, чому одні автоматизації приживаються, а інші вмирають.

Як перевірити крок за десять хвилин: п'ять питань

Проходити письмово, з власником процесу, не з розробником. Відповіді фіксувати одним реченням кожну.

• Де зупиняється дія? Назвіть конкретну точку, у якій результат агента ще не став наслідком: чернетка, черга, статус «на погодженні». Якщо назвати нічого, спрацювала перша ознака.
• Хто дивиться в цю точку і навіщо йому туди дивитись? Наглядач, у якого немає причини відкривати чергу, не є наглядачем. Причина може бути будь-якою, аби існувала: його ім'я під результатом, його показник, його клієнт.
• Звідки береться правильна відповідь? Випишіть джерела списком. Кожен рядок виду «з голови» — це або друга ознака, або завдання записати правило.
• Скільки коштує один поганий результат і за скільки годин його відкотити? Дві цифри, обидві в грошах і годинах. Якщо на це питання в кімнаті немає відповіді, крок не проходить, поки вона не з'явиться.
• Що ми робимо, коли це станеться втретє? Не вперше, а саме втретє. Відповідь «розберемось» означає, що процедури немає, і третій раз ви теж розбиратиметесь вручну.

Десять хвилин — це чесний час на один крок, за умови що в кімнаті сидить людина, яка цей крок реально виконує. Якщо тест розтягнувся на годину, зазвичай виявляється, що ви обговорюєте три склеєні кроки замість одного.

Що насправді означає відповідь «ні» — людина робить усе руками?

Тест із п'яти питань дає не двійкову відповідь. З трьох можливих виходів повна відмова — найрідший.

• Звузити область. Агент бере на себе ту частину звернень, де ознака не спрацьовує, решта йде людині за явним правилом. Правило має бути перевіркою, яку може виконати сам агент, а не побажанням «якщо випадок складний».
• Поставити чекпойнт. Агент робить усе, крім останньої дії: готує лист, заповнює документ, формує зміну в записі. Людина натискає кнопку. Так зникає більша частина рутини, а точка огляду лишається на місці.
• Розрізати крок. Оборотну частину віддати повністю, необоротну лишити людині. Найчастіше саме тут ховається виграш, бо необоротна частина зазвичай займає хвилину з півгодинної роботи.

Чекпойнт не обов'язково стоїть вічно. Коли ви знімете базу частки приймання й побачите, що агент місяцями не помиляється на цьому типі звернень, чекпойнт можна пересунути — але з числом на руках, а не з відчуттям. Як рахувати цю базу, розібрано в сусідньому матеріалі про частку автономії.

Яка найчастіша помилка при передачі кроку агенту?

У 1983 році Лізанн Бейнбрідж описала набір ефектів, які досі найкраще пояснюють, чому автоматизація ламається саме там, де мала допомогти. Її формулювання: забираючи легкі частини завдання, автоматизація робить складні частини роботи оператора ще складнішими. Людині лишається спостереження й рідкісні важкі випадки, у яких вона більше не має щоденної практики, — і саме в цей момент від неї чекають найшвидшого й найточнішого втручання.

В агентних процесах це виглядає так. Крок віддали агенту, людину лишили контролером «про всяк випадок». Через три місяці вона бачить дев'яносто відсотків правильних результатів поспіль, перестає читати уважно й одночасно втрачає навичку робити цю роботу сама. Контроль формально є, фактично його немає.

Робочих виходів два, і обидва скучні. Або лишіть людині достатньо живої роботи цього типу, щоб око не розучилось. Або перетворіть суцільний контроль на вибірковий і регулярний — як саме рахувати вибірку й на якій базі зсувати чекпойнт, розібрано в сусідньому матеріалі про частку приймання.

Що з цим робить Auspex?

Тест із п'яти питань ми проходимо до того, як агент отримує доступ до бойових даних, і проходимо його з власником процесу, а не з ІТ. Auspex відповідає за процес і CRM під агентом; самого агента будує і заміряє Grow2.ai — наш AI-підрозділ. Відповіді фіксуються письмово — не заради формальності, а тому що після запуску та сама розмова перетворюється на пошук винного.

Універсального переліку заборонених процесів не існує: у двох компаній однаковий на вигляд крок має різну зворотність і різну ціну помилки. Що лишається однаковим — вимога назвати точку огляду й людину в ній до старту, а не після першої скарги. Далі те, що вирішили на цьому етапі, має сенс винести в договір: критерій приймання й межі автономії — саме ті пункти, які найчастіше формулюють так, що перевірити їх неможливо.

З чого почати цього тижня?

• Візьміть один крок, який ви саме зараз збираєтесь віддати агенту, і пройдіть п'ять питань письмово з тим, хто цей крок виконує. Десять хвилин, аркуш паперу.
• Якщо застрягли на третьому питанні — це не привід відмовлятись. Це список правил, які варто записати, і він однаково потрібен для нових людей.
• Якщо агенти у вас уже працюють, пройдіть тест назад: на кроках, які ви віддали три місяці тому, коли ще ніхто не питав про точку огляду.

Якщо після тесту лишились кроки, за які незрозуміло як братись, є два входи. Діагностика самого агента — безкоштовний AI-аудит у Grow2.ai. Якщо питання ширші й починаються з процесу та CRM під агентом — аудит CRM і автоматизацій в Auspex. Обидва посилання нижче.