Три ознаки того, що цей крок не треба давати агенту — і як це перевірити за 10 хвилин

На нараді про автоматизацію обговорюють спроможність. Хтось показує демонстрацію, агент проходить десять типових звернень, усі кивають, крок іде в роботу. Спроможність при цьому справді доведено — рівно для тих десяти звернень і рівно за умови, що поруч стоїть людина й дивиться. У кімнаті не прозвучало інше питання: що буде з одинадцятим випадком о пів на восьму вечора, коли не дивиться ніхто.

Чому «чи впорається агент» і «чи можна йому це віддати» — різні питання?

Anthropic у своєму інженерному розборі агентних систем формулює умову прямо: агенти доречні там, де неможливо заздалегідь прописати фіксований шлях, і де у вас є певний рівень довіри до їхніх рішень. Там же стоїть попередження про накопичення помилок, властиве автономній роботі. Довіра в цьому формулюванні не є характеристикою моделі. Це ваше рішення, і ухвалюється воно окремо від питання про якість.

Спосіб сортувати такі рішення описали задовго до агентів. Джефф Безос у листі до акціонерів за 2015 рік поділив рішення на два типи. Одні наслідкові й незворотні або майже незворотні, двері в один бік, і їх треба ухвалювати повільно, методично, з консультаціями. Інші зворотні, двері в обидва боки, і витрачати на них важку процедуру шкідливо. Тип задає не складність і не важливість рішення, а можливість повернутися назад.

Делегування кроку агенту сортується за тією самою ознакою.

Ознака перша: чи видно помилку до наслідку?

Між дією агента й наслідком має існувати точка, у якій хтось бачить результат, поки той ще нічого не зробив. Лист у черзі на відправку таку точку має. Лист, який пішов клієнту, — ні. Запис у CRM, змінений уночі, теж не має: наступного разу на нього подивляться, коли менеджер підніматиме історію перед дзвінком, і різницю між «так було» і «так записав агент» уже ніхто не відновить.

Заперечення на це звучить завжди однаково: ми ж будемо перевіряти. Проблема в тому, що людина погано ловить саме той клас помилок, який тут виникає. У дослідженні Скітки, Мозьє й Бердіка 1999 року помилки при роботі з автоматизованою підказкою розділили на два типи: помилки дії, коли людина виконує неправильну вказівку системи, і помилки бездіяльності, коли система нічого не позначила, а людина не помітила події сама. Навчання, присвячене цьому упередженню, зменшило кількість помилок першого типу й не зменшило кількість помилок другого.

Інструктаж «уважно перевіряйте за агентом» працює проти помилок, які видно, і не працює проти тиші. А в кроці без точки огляду вся помилка і є тишею.

Ознака друга: чи живе правильна відповідь усередині системи?

Агент бачить рівно те, що ви йому дали: записи в CRM, документи в базі, історію листування, інструкцію в промпті. Якщо правильна відповідь на цьому кроці вимагає знати, про що домовились учора голосом, що з цим клієнтом зараз іде суд, або що ціна для нього історично інша «бо так склалось», — агент відповідь усе одно видасть. Вона буде правдоподібною.

Правдоподібна відповідь гірша за неправильну. Неправильну ловлять, бо вона муляє. Правдоподібна проходить далі й спливає через два тижні в розмові з клієнтом, який щиро не розуміє, звідки взялася нова умова.

Перевірка тут проста й займає хвилину: випишіть, звідки береться правильна відповідь на цьому кроці. Кожне джерело окремим рядком. Якщо серед рядків є «з голови Марини» або «з домовленості, якої ніде немає», крок ще не готовий до передачі.

Корисно те, що результат цієї перевірки рідко буває вироком. За нашою практикою частіше правильна дія не в тому, щоб відмовитись від делегування, а в тому, щоб записати правило, яке досі жило усно. Це робота на годину-дві, і вона однаково потрібна, бо на цьому ж правилі спотикається кожен новий співробітник. Окремий розбір випадку, коли даних для агента ніби немає взагалі, є в статті «У нас немає даних для AI» нижче.

Ознака третя: чи дорожчий наслідок за всю економію?

Третя ознака не про ризик, а про асиметрію. Підписаний договір, розсилка по сегменту, видалений запис, проведений платіж — усе це коштує стільки, що річна економія на кроці не покриває одного поганого випадку. Двері в один бік.

Рахунок тут ведеться не в прикметниках. Візьміть вартість одного поганого результату разом із годинами на відкат, помножте на реалістичну, а не бажану частоту, і порівняйте з тим, скільки годин на місяць економить делегування. Якщо перше число більше — сперечатись немає про що, і жодне покращення моделі цю арифметику не змінює.

Важлива відмінність від перших двох ознак: зворотність зазвичай є властивістю вашої конфігурації, а не самої дії. Відправка листа незворотна. Той самий лист, покладений у чергу з двохвилинною затримкою й видимою кнопкою скасування, зворотний. Розсилка по сегменту незворотна. Розсилка, яка стартує з п'яти відсотків бази й зупиняється на порозі скарг, зворотна майже повністю. Третю ознаку часто можна зняти інженерно, і саме з цього варто починати, перш ніж записувати крок у заборонені.

Що схоже на стоп-сигнал, але ним не є?

«Агент іноді помиляється». Він завжди іноді помиляється, і людина на цьому місці теж. Сама по собі частота помилок нічого не вирішує, поки ви не поставили поруч два інші числа: скільки коштує одна помилка і чи її видно. Крок із частими, дешевими й помітними помилками — хороший кандидат на делегування, а не поганий.

«Процес складний». Складність і незворотність не пов'язані. Розбір десятків умов у прайсі складний, але помилка в ньому ловиться на етапі узгодження й коштує п'яти хвилин. Натиснути «видалити» просто, а наслідок незворотний. Складні процеси з дешевою помилкою — найкраще, що можна віддати агенту першим, бо саме там людина витрачає найбільше годин на рутину.

Є ще третя річ, яку варто чути окремо: «мені подобається це робити». Це не критерій делегування, але це реальний фактор приживлюваності. Автоматизації, які забирають у людини ту частину роботи, за яку вона себе поважає, тихо вимикають — ми писали про це в розборі того, чому одні автоматизації приживаються, а інші вмирають.

Як перевірити крок за десять хвилин: п'ять питань

Проходити письмово, з власником процесу, не з розробником. Відповіді фіксувати одним реченням кожну.

• Де зупиняється дія? Назвіть конкретну точку, у якій результат агента ще не став наслідком: чернетка, черга, статус «на погодженні». Якщо назвати нічого, спрацювала перша ознака.
• Хто дивиться в цю точку і навіщо йому туди дивитись? Наглядач, у якого немає причини відкривати чергу, не є наглядачем. Причина може бути будь-якою, аби існувала: його ім'я під результатом, його показник, його клієнт.
• Звідки береться правильна відповідь? Випишіть джерела списком. Кожен рядок виду «з голови» — це або друга ознака, або задача записати правило.
• Скільки коштує один поганий результат і за скільки годин його відкотити? Дві цифри, обидві в грошах і годинах. Якщо на це питання в кімнаті немає відповіді, крок не проходить, поки вона не з'явиться.
• Що ми робимо, коли це станеться втретє? Не вперше, а саме втретє. Відповідь «розберемось» означає, що процедури немає, і третій раз ви теж розбиратиметесь вручну.

Десять хвилин — це чесний час на один крок, за умови що в кімнаті сидить людина, яка цей крок реально виконує. Якщо тест розтягнувся на годину, зазвичай виявляється, що ви обговорюєте не один крок, а три склеєні.

Що насправді означає відповідь «ні» — людина робить усе руками?

Тест із п'яти питань дає не двійкову відповідь. З трьох можливих виходів повна відмова — найрідший.

• Звузити область. Агент бере на себе ту частину звернень, де ознака не спрацьовує, решта йде людині за явним правилом. Правило має бути перевіркою, яку може виконати сам агент, а не побажанням «якщо випадок складний».
• Поставити чекпойнт. Агент робить усе, крім останньої дії: готує лист, заповнює документ, формує зміну в записі. Людина натискає кнопку. Так зникає більша частина рутини, а точка огляду лишається на місці.
• Розрізати крок. Оборотну частину віддати повністю, необоротну лишити людині. Найчастіше саме тут ховається виграш, бо необоротна частина зазвичай займає хвилину з півгодинної роботи.

Чекпойнт не обов'язково стоїть вічно. Коли ви знімете базу частки приймання й побачите, що агент місяцями не помиляється на цьому типі звернень, чекпойнт можна пересунути — але з числом на руках, а не з відчуттям.

Яка найчастіша помилка при передачі кроку агенту?

У 1983 році Лізанн Бейнбрідж описала набір ефектів, які досі найкраще пояснюють, чому автоматизація ламається саме там, де мала допомогти. Її формулювання: забираючи легкі частини задачі, автоматизація робить складні частини роботи оператора ще складнішими. Людині лишається спостереження й рідкісні важкі випадки, у яких вона більше не має щоденної практики, — і саме в цей момент від неї чекають найшвидшого й найточнішого втручання.

В агентних процесах це виглядає так. Крок віддали агенту, людину лишили контролером «про всяк випадок». Через три місяці вона бачить дев'яносто відсотків правильних результатів поспіль, перестає читати уважно й одночасно втрачає навичку робити цю роботу сама. Контроль формально є, фактично його немає.

Робочих виходів два, і обидва скучні. Або лишіть людині достатньо живої роботи цього типу, щоб око не розучилось. Або перетворіть контроль із суцільного на вибірковий і регулярний: п'ять відсотків результатів, раз на тиждень, за розкладом. Вибірка при цьому має бути випадковою, а не «що встиг подивитись», знайдене — записаним в одне місце разом із датою й типом звернення, і дивитись має та сама людина, чиє ім'я стоїть під процесом, а не той, у кого цього тижня менше завантаження.

Що з цим робить Auspex?

Auspex проходить тест із п'яти питань до того, як агент отримує доступ до бойових даних, і проходить його з власником процесу, а не з ІТ. Відповіді фіксуються письмово — не заради формальності, а тому що після запуску та сама розмова перетворюється на пошук винного.

Універсального переліку заборонених процесів Auspex не називає, бо його не існує: у двох компаній однаковий на вигляд крок має різну зворотність і різну ціну помилки. Що лишається однаковим — вимога назвати точку огляду й людину в ній до старту, а не після першої скарги. Далі те, що вирішили на цьому етапі, має сенс винести в договір: критерій приймання й межі автономії — саме ті пункти, які найчастіше формулюють так, що перевірити їх неможливо.

З чого почати цього тижня?

• Візьміть один крок, який ви саме зараз збираєтесь віддати агенту, і пройдіть п'ять питань письмово з тим, хто цей крок виконує. Десять хвилин, аркуш паперу.
• Якщо застрягли на третьому питанні — це не привід відмовлятись. Це список правил, які варто записати, і він однаково потрібен для нових людей.
• Якщо агенти у вас уже працюють, пройдіть тест назад: на кроках, які ви віддали три місяці тому, коли ще ніхто не питав про точку огляду.

Якщо після тесту лишились кроки, за які незрозуміло як братись, напишіть нам. Auspex розбирає їх на аудиті: де стоїть точка огляду, що можна зробити зворотним інженерно і які кроки не варто чіпати взагалі. Замовити можна через сторінку «Аудит CRM і автоматизацій» нижче.