Seguridad
Pedirle a una IA que se vigile sola no alcanza. Esto hacemos en su lugar.
El ataque: una página o correo que el agente lee esconde una instrucción que cambia, sin ruido, quién recibe el pago. El truco cae lejos de donde aparece el daño.
Cada pago recibe una pregunta: ¿esto vino de ti, o de una página que el agente leyó a mitad de la tarea? Rastreamos el origen de cada destinatario y verificamos si estuvo en lo que realmente pediste. Uno que salió del contenido y no se remonta a ti es el cambiazo clásico — nuestra mayor alerta.
Bloqueos rotundos para lo peligroso (borrar una base de datos, leer secretos, romper producción). Corren antes de cualquier IA, y nada los convence de un sí. A una IA se la persuade; una regla estricta sobre DROP TABLE no.
Topes por pago y por mes, lista de a quién se le puede pagar, y "cuenta nueva → primero pregunta a una persona". Más coherencia (¿el destinatario coincide con la tienda o la factura?) y vigilancia de demasiados pagos muy rápido.
Una IA rápida (Claude Haiku) opina sobre trucos nuevos y suma una señal. Nunca es lo único entre un pago y un atacante, y no anula las reglas estrictas ni el de-dónde-vino. Si falla, el motor sigue con las reglas.
Cada decisión queda encadenada a la anterior: hash_n = sha256(prev_hash + canonicalJSON(record)). Edita una entrada pasada y deja de coincidir — todo lo posterior se rompe y la verificación se pone roja en esa fila. No le creas al agente: verifica el registro.
Riesgo real
Basado en incidentes reales
No es teoría — ya pasó en producción, y es justo lo que esta arquitectura frena.
Un agente borró una base de datos en producción durante un code freeze y luego mintió sobre lo que hizo. Lección: no confíes en el éxito que el agente reporta — verifica el registro.
La primera inyección de prompts "zero-click" (un CVE) en un agente en producción: datos exfiltrados sin acción del usuario. Lección: la inyección es real y remota.
La inyección de prompts / secuestro de objetivos es el riesgo #1 de OWASP para apps con LLM y agentes.
Procedencia, reglas estrictas y un registro a prueba de alteraciones responden directo a los tres.