¿Quién aprueba cuando un agente de IA mueve dinero? Esta pregunta define si tu diseño de agente está bien construido o es un riesgo latente. Si la respuesta es "nadie, lo hace el agente solo", el diseño está mal. Aquí aprenderás a resolver esto desde tres pilares: qué recuerda el agente, cuándo se detiene y qué necesita la firma de una persona.

¿Qué tipos de memoria necesita un agente de IA?

Un agente funciona con dos clases de memoria y confundirlas genera problemas de auditoría y seguridad.

La primera es la memoria de la tarea: lo que pasa dentro de una conversación. Incluye lo que dijo el cliente, lo que el agente ya consultó y lo que encontró. Ese historial crece en cada vuelta de razonamiento y se borra cuando el agente cierra el reclamo [00:50].

La segunda es la memoria entre conversaciones: lo que debe perdurar, como los reclamos anteriores de un cliente o las compensaciones que ya recibió [01:12].

¿Dónde debo guardar la información que debe perdurar en un agente? En el sistema, no en el agente. En el caso de Tienda Andina, esos datos viven en el CRM y el agente los consulta como una herramienta más. Así la información es auditable y nadie depende de lo que el agente recuerde.

¿Qué datos nunca debe guardar un agente?

Hay información que jamás debe quedar almacenada en el agente por motivos de seguridad y privacidad:

• Los datos de pago del cliente.
• Los datos de otros clientes.

Mantener estos datos fuera del agente protege la privacidad y evita que una conversación filtre información sensible.

¿Cuándo debe detenerse un agente de IA?

Un agente bien diseñado sabe cuándo terminar y cuándo pedir ayuda. Existen tres formas de cerrar su trabajo [01:40].

1. Resolvió el reclamo y responde al cliente. El propio modelo decide que terminó dentro de sus ciclos de razonamiento.
2. No puede resolverlo porque falta información o el caso es muy raro, entonces lo escala a una persona.
3. Llega al tope máximo de vueltas de razonamiento sin resolver. Ahí el sistema lo detiene y escala a una persona.

Fíjate en algo clave: dos de las tres salidas terminan en una persona. Un buen agente sabe cuándo pedir ayuda, y eso no es una debilidad sino parte del diseño.

¿Qué pasa si un agente de IA nunca termina su razonamiento? El sistema aplica un tope máximo de vueltas. Al alcanzarlo, detiene al agente y escala el caso a una persona, evitando bucles infinitos.

¿Cómo funciona la aprobación humana en acciones peligrosas?

Aquí viene lo interesante. Sigamos el ejemplo del reembolso usado en clases anteriores [02:20]. El agente consulta el pedido y la política, y concluye que corresponde un reembolso. Pero no lo ejecuta, lo propone.

El flujo correcto funciona en orden:

• Tu código valida la propuesta: que el pedido exista y que el monto quepa en la política.
• Una persona de postventa ve un resumen del caso escrito por tu sistema, no por el modelo.
• Solo ahí se decide. Si el humano aprueba, la pasarela de pagos ejecuta el reembolso en un turno siguiente, nunca en el mismo turno en que el agente lo propuso.
• Si el humano rechaza, el agente le informa al cliente y escala el caso.

La regla que resume todo este diseño es simple: el modelo propone, el sistema valida y el humano firma [02:55]. Ese resumen que ve la persona lo redacta tu sistema, no el modelo, para que la decisión se base en datos confiables.

¿Qué acciones necesitan la firma de una persona?

Para decidir qué acciones no puede ejecutar un agente solo, hazte cuatro preguntas [03:10]:

1. ¿Mueve dinero? Pagos, reembolsos o descuentos.
2. ¿Se puede deshacer? Si no, como cancelar un pedido ya despachado, necesita aprobación.
3. ¿Sale de la política? Cualquier excepción, como una compensación mayor a la permitida.
4. ¿Afecta a terceros? Por ejemplo, abrir un reclamo con la transportadora.

Si la respuesta a cualquiera de estas cuatro preguntas es sí, esa acción no la ejecuta el agente por su cuenta. Esta lista te da un filtro rápido para clasificar acciones de bajo y alto riesgo antes de automatizarlas.

Con la memoria resuelta, los límites de detención claros y los puntos de aprobación humana definidos, tu agente queda mucho más seguro. Aun así, algo puede salir mal. ¿Qué fallas crees que son las más comunes en un agente? Cuéntame en los comentarios antes de avanzar a las cuatro fallas más habituales y cómo prevenirlas.