Nº 3 · Ensayo
Observabilidad agente-céntrica: por qué las trazas no bastan
Las trazas cuentan qué pasó en una ejecución. Para saber si un agente hace su trabajo, y con qué riesgo, hay que empezar por el agente.
Por Data Sirens Lectura de 2 minutos
Langfuse, LangSmith o Datadog dan buenas piezas: trazas, spans, evaluaciones. Pero dan por hecho que el equipo ya sabe qué medir y cómo configurarlo. Y responden a la pregunta de ingeniería, «qué pasó en esta traza», no a la de producto: ¿el agente cumple su trabajo, dónde falla y mejora entre versiones?
La unidad es el agente
Una plataforma trace-céntrica organiza todo alrededor de ejecuciones. Una agente-céntrica lo organiza alrededor del agente y su ciclo de vida: cómo se diseñó, qué versiones ha tenido, cómo se comporta en producción y cuándo empieza a degradarse. Las trazas son la materia prima, no el producto.
Eso exige saber antes cómo es el agente:
- Qué lo activa: canales, disparadores, quién puede hablar con él.
- Qué puede hacer: herramientas, si leen o escriben, con qué credencial y contra qué sistema.
- Qué sabe: el conocimiento al que accede y de dónde viene.
- Qué es éxito: qué cuenta como tarea resuelta, escalada o fallida. Esto no sale del código; hay que preguntárselo a quien es responsable del agente.
A esa descripción la llamamos manifiesto del agente, y todo lo demás (reglas de seguridad, clasificación AI Act, métricas, paneles) debería trabajar sobre ella.
Cinco capas de métricas
No todas las métricas le interesan a la misma persona. Las ordenamos en capas:
- Operativa: latencia por tarea y por paso, tokens, coste, errores.
- Comportamiento: pasos por tarea, éxito por herramienta, bucles y reintentos.
- Calidad: tarea completada, respuestas fundamentadas, evaluación con criterios propios del agente.
- Negocio: resolución, deflexión, tiempo ahorrado.
- Seguridad: guardrails que saltan, intentos de inyección, datos personales en las respuestas.
Las dos primeras son de ingeniería, la cuarta de producto, y la calidad y la seguridad son de ambos.
Del flujo diseñado al real
Cuando el agente tiene un grafo explícito, como en LangGraph, se puede ir más lejos: comparar el flujo que se diseñó con el que de verdad ocurre. Bucles no previstos, nodos que se saltan, variantes que acaban casi siempre en escalado. Ninguna herramienta centrada en trazas lo ofrece de forma nativa, y es una de las preguntas abiertas más interesantes del campo.