Tres señales de que este paso no hay que dárselo al agente, y cómo comprobarlo en 10 minutos

En la reunión sobre automatización se habla de capacidad. Alguien muestra una demo, el agente resuelve diez solicitudes típicas, todos asienten y el paso entra en operación. La capacidad queda demostrada de verdad: exactamente para esas diez solicitudes y exactamente con la condición de que haya una persona al lado, mirando. Hubo otra pregunta que en la sala no se oyó: qué va a pasar con el caso número once a las siete y media de la tarde, cuando no mira nadie.

¿Por qué «¿podrá el agente?» y «¿se le puede dar esto?» son preguntas distintas?

Anthropic, en su análisis de ingeniería sobre sistemas agénticos, formula la condición sin rodeos: los agentes tienen sentido donde es imposible definir de antemano un camino fijo y donde tienes cierto nivel de confianza en sus decisiones. Ahí mismo aparece la advertencia sobre la acumulación de errores, propia del trabajo autónomo. En esa formulación, la confianza no es una característica del modelo. Es una decisión tuya, y se toma por separado de la pregunta sobre la calidad.

La manera de clasificar decisiones así se describió mucho antes de los agentes. Jeff Bezos, en su carta a los accionistas de 2015, dividió las decisiones en dos tipos. Unas son trascendentes e irreversibles o casi irreversibles —puertas de un solo sentido—, y hay que tomarlas despacio, con método y con consultas. Otras son reversibles —puertas de doble sentido—, y aplicarles un procedimiento pesado es perjudicial. El tipo lo define una sola cosa: si se puede volver atrás. Ni la complejidad de la decisión ni su importancia tienen nada que ver.

Delegar un paso a un agente se clasifica con el mismo criterio.

Primera señal: ¿se ve el error antes de la consecuencia?

Entre la acción del agente y la consecuencia tiene que existir un punto en el que alguien vea el resultado cuando este todavía no ha hecho nada. Un correo en la cola de envío tiene ese punto. Un correo que ya ha salido hacia el cliente, no. Un registro del CRM modificado de noche tampoco lo tiene: la próxima vez que alguien lo mire será cuando el comercial repase el historial antes de una llamada, y la diferencia entre «así estaba» y «así lo dejó escrito el agente» ya no la reconstruye nadie.

La objeción siempre suena igual: pero si lo vamos a revisar. El problema es que una persona detecta mal justo la clase de errores que aparece aquí. El estudio de Skitka, Mosier, Burdick y Rosenblatt de 2000 analizó dos tipos de errores al trabajar con una ayuda automatizada: errores de comisión, cuando la persona ejecuta una indicación equivocada del sistema, y errores de omisión, cuando el sistema no marcó nada y la persona no detectó el evento por sí misma. La formación dedicada a ese sesgo redujo la cantidad de errores del primer tipo y no redujo la del segundo.

La instrucción «revisad con atención lo que hace el agente» funciona contra los errores que se ven y no funciona contra el silencio. Y en un paso sin punto de revisión, todo el error es silencio.

Segunda señal: ¿la respuesta correcta vive dentro del sistema?

El agente ve exactamente lo que le has dado: registros del CRM, documentos de la base de conocimiento, el historial de mensajes, las instrucciones del prompt. Si la respuesta correcta en este paso exige saber qué se acordó ayer de palabra, que con este cliente hay ahora un juicio en curso o que su precio es históricamente distinto «porque siempre ha sido así», el agente va a dar una respuesta de todos modos. Y será verosímil.

Una respuesta verosímil es peor que una incorrecta. La incorrecta se detecta porque salta a la vista. La verosímil sigue adelante y aflora dos semanas después en una conversación con un cliente que, sinceramente, no entiende de dónde ha salido la condición nueva.

La comprobación aquí es sencilla y lleva un minuto: anota de dónde sale la respuesta correcta en este paso. Cada fuente en una línea aparte. Si entre las líneas aparece «de la cabeza de Marina» o «de un acuerdo que no está en ninguna parte», el paso todavía no está listo para delegarse.

Lo útil es que el resultado de esta comprobación rara vez es una sentencia. En nuestra práctica, lo correcto suele ser no renunciar a la delegación, sino dejar por escrito una regla que hasta ahora vivía de palabra. Es un trabajo de una o dos horas, y hace falta de todos modos, porque con esa misma regla tropieza cada empleado nuevo. El caso en que parece que no hay ningún dato para el agente lo analizamos aparte en el artículo «No tenemos datos para la IA», más abajo.

Tercera señal: ¿la consecuencia cuesta más que todo el ahorro?

La tercera señal mide la asimetría. Un contrato firmado, un envío masivo a un segmento, un registro eliminado, un pago procesado: todo eso cuesta tanto que el ahorro de un año en el paso no cubre un solo caso malo. Puerta de un solo sentido.

Aquí las cuentas no se hacen con adjetivos. Toma el coste de un resultado malo junto con las horas para revertirlo, multiplícalo por una frecuencia realista, no por la deseada, y compáralo con las horas al mes que ahorra la delegación. Si el primer número es mayor, no hay nada que discutir, y ninguna mejora del modelo cambia esa aritmética.

Una diferencia importante respecto de las dos primeras señales: la reversibilidad suele ser una propiedad de tu configuración, no de la acción en sí. Enviar un correo es irreversible. Ese mismo correo, puesto en una cola con dos minutos de retraso y un botón de cancelar a la vista, es reversible. Un envío masivo a un segmento es irreversible. Un envío que arranca con el cinco por ciento de la base y se detiene al llegar al umbral de quejas es reversible casi por completo. La tercera señal muchas veces se puede eliminar con ingeniería, y por ahí conviene empezar antes de anotar el paso entre los prohibidos.

¿Qué parece una señal de alto, pero no lo es?

«El agente a veces se equivoca». Siempre se equivoca a veces, y una persona en ese puesto también. La frecuencia de errores por sí sola no decide nada mientras no pongas al lado otros dos números: cuánto cuesta un error y si se ve. Un paso con errores frecuentes, baratos y visibles es un buen candidato para delegar, no uno malo.

«El proceso es complejo». Complejidad e irreversibilidad no están relacionadas. Revisar decenas de condiciones en una lista de precios es complejo, pero un error ahí se detecta en la etapa de aprobación y cuesta cinco minutos. Pulsar «eliminar» es simple, y la consecuencia es irreversible. Los procesos complejos con errores baratos son lo mejor que se le puede dar primero al agente, porque es ahí donde la persona gasta más horas en rutina.

Hay una tercera cosa que conviene escuchar aparte: «me gusta hacer esto». No es un criterio de delegación, pero sí un factor real de arraigo. Las automatizaciones que le quitan a una persona la parte del trabajo por la que se respeta a sí misma se apagan en silencio; lo contamos en el análisis de por qué unas automatizaciones arraigan y otras mueren.

Cómo comprobar un paso en diez minutos: cinco preguntas

Hay que hacerlo por escrito, con el responsable del proceso, no con el desarrollador. Cada respuesta se anota en una sola frase.

• ¿Dónde se detiene la acción? Nombra el punto concreto en el que el resultado del agente todavía no se ha convertido en consecuencia: un borrador, una cola, el estado «pendiente de aprobación». Si no hay nada que nombrar, se cumple la primera señal.
• ¿Quién mira ese punto y para qué tendría que mirarlo? Un supervisor que no tiene motivo para abrir la cola no es un supervisor. El motivo puede ser cualquiera, con tal de que exista: su nombre bajo el resultado, su indicador, su cliente.
• ¿De dónde sale la respuesta correcta? Anota las fuentes en una lista. Cada línea del tipo «de la cabeza de alguien» es o la segunda señal o la tarea de dejar la regla por escrito.
• ¿Cuánto cuesta un resultado malo y en cuántas horas se revierte? Dos cifras, ambas en dinero y en horas. Si en la sala nadie tiene respuesta a esta pregunta, el paso no se aprueba hasta que la haya.
• ¿Qué hacemos cuando esto pase por tercera vez? No la primera, sino justo la tercera. La respuesta «ya lo veremos» significa que no hay procedimiento, y la tercera vez también te tocará resolverlo a mano.

Diez minutos es una estimación honesta para un paso, siempre que en la sala esté la persona que de verdad ejecuta ese paso. Si el test se ha alargado a una hora, por lo general resulta que estás discutiendo tres pasos pegados en lugar de uno.

¿Qué significa en realidad un «no»: que la persona lo hace todo a mano?

El test de cinco preguntas no da una respuesta binaria. La renuncia total es el resultado menos frecuente. Lo habitual es que funcione una de estas tres salidas:

• Acotar el alcance. El agente se queda con la parte de las solicitudes en la que la señal no se cumple; el resto va a una persona según una regla explícita. La regla tiene que ser una comprobación que el propio agente pueda ejecutar, no un deseo del tipo «si el caso es complejo».
• Poner un checkpoint. El agente hace todo menos la última acción: redacta el correo, completa el documento, prepara el cambio en el registro. La persona pulsa el botón. Así desaparece la mayor parte de la rutina y el punto de revisión se queda en su sitio.
• Partir el paso. La parte reversible se entrega entera; la irreversible se le deja a la persona. Casi siempre es aquí donde se esconde la ganancia, porque la parte irreversible suele ocupar un minuto de un trabajo de media hora.

El checkpoint no tiene por qué quedarse para siempre. Cuando midas la línea base de la tasa de aceptación y veas que el agente lleva meses sin equivocarse en ese tipo de solicitudes, el checkpoint se puede mover, pero con un número en la mano, no con una sensación. Cómo calcular esa línea base se explica en nuestro artículo sobre la tasa de autonomía.

¿Cuál es el error más frecuente al pasarle un paso al agente?

En 1983, Lisanne Bainbridge describió un conjunto de efectos que hasta hoy son lo que mejor explica por qué la automatización se rompe justo donde debía ayudar. Su formulación: al quitar las partes fáciles de la tarea, la automatización vuelve todavía más difíciles las partes difíciles del trabajo del operador. A la persona le quedan la supervisión y los casos raros y difíciles, en los que ya no tiene práctica diaria, y es justo en ese momento cuando se espera de ella la intervención más rápida y más precisa.

En los procesos con agentes se ve así. El paso se le ha dado al agente y a la persona la han dejado como revisora «por si acaso». A los tres meses ve un noventa por ciento de resultados correctos seguidos, deja de leer con atención y, al mismo tiempo, pierde la habilidad de hacer ese trabajo por su cuenta. El control existe en lo formal; en la práctica, no.

Salidas que funcionan hay dos, y las dos son aburridas. O le dejas a la persona suficiente trabajo real de ese tipo para que el ojo no se desentrene. O conviertes el control total en un control por muestreo y periódico: cómo calcular la muestra y con qué línea base mover el checkpoint se explica en nuestro artículo sobre la tasa de aceptación.

¿Qué hace Auspex con esto?

El test de cinco preguntas lo hacemos antes de que el agente tenga acceso a datos de producción, y lo hacemos con el responsable del proceso, no con TI. Auspex responde por el proceso y por el CRM que hay debajo del agente; al agente en sí lo construye y lo mide Grow2.ai, nuestra división de IA. Las respuestas quedan por escrito, no por formalidad, sino porque después del lanzamiento esa misma conversación se convierte en la búsqueda de un culpable.

No existe una lista universal de procesos prohibidos: en dos empresas, un paso que parece idéntico tiene distinta reversibilidad y distinto coste del error. Lo que no cambia es la exigencia de nombrar el punto de revisión y a la persona que está en él antes de arrancar, no después de la primera queja. A partir de ahí, lo que se decidió en esta etapa conviene llevarlo al contrato: el criterio de aceptación y los límites de autonomía son justo las cláusulas que más a menudo se redactan de modo que resulta imposible verificarlas.

¿Por dónde empezar esta semana?

• Toma un paso que estés a punto de darle al agente ahora mismo y recorre las cinco preguntas por escrito con quien ejecuta ese paso. Diez minutos, una hoja de papel.
• Si te atascas en la tercera pregunta, no es motivo para renunciar. Es una lista de reglas que conviene dejar por escrito, y hace falta igual para la gente nueva.
• Si ya tienes agentes trabajando, haz el test en retrospectiva: en los pasos que delegaste hace tres meses, cuando todavía nadie preguntaba por el punto de revisión.

Si después del test te han quedado pasos que no sabes cómo abordar, hay dos puertas de entrada. Para diagnosticar al agente en sí, la auditoría de IA gratuita de Grow2.ai. Si las preguntas son más amplias y empiezan por el proceso y el CRM que hay debajo del agente, la auditoría de CRM y automatizaciones de Auspex. Los dos enlaces están abajo.