Saltar al contenido

Data Sirens

Nº 3 · Ensayo

Observabilidad agente-céntrica: por qué las trazas no bastan

Las trazas cuentan qué pasó en una ejecución. Para saber si un agente hace su trabajo, y con qué riesgo, hay que empezar por el agente.

Por Data Sirens Lectura de 2 minutos

Langfuse, LangSmith o Datadog dan buenas piezas: trazas, spans, evaluaciones. Pero dan por hecho que el equipo ya sabe qué medir y cómo configurarlo. Y responden a la pregunta de ingeniería, «qué pasó en esta traza», no a la de producto: ¿el agente cumple su trabajo, dónde falla y mejora entre versiones?

La unidad es el agente

Una plataforma trace-céntrica organiza todo alrededor de ejecuciones. Una agente-céntrica lo organiza alrededor del agente y su ciclo de vida: cómo se diseñó, qué versiones ha tenido, cómo se comporta en producción y cuándo empieza a degradarse. Las trazas son la materia prima, no el producto.

Eso exige saber antes cómo es el agente:

  • Qué lo activa: canales, disparadores, quién puede hablar con él.
  • Qué puede hacer: herramientas, si leen o escriben, con qué credencial y contra qué sistema.
  • Qué sabe: el conocimiento al que accede y de dónde viene.
  • Qué es éxito: qué cuenta como tarea resuelta, escalada o fallida. Esto no sale del código; hay que preguntárselo a quien es responsable del agente.

A esa descripción la llamamos manifiesto del agente, y todo lo demás (reglas de seguridad, clasificación AI Act, métricas, paneles) debería trabajar sobre ella.

Cinco capas de métricas

No todas las métricas le interesan a la misma persona. Las ordenamos en capas:

  1. Operativa: latencia por tarea y por paso, tokens, coste, errores.
  2. Comportamiento: pasos por tarea, éxito por herramienta, bucles y reintentos.
  3. Calidad: tarea completada, respuestas fundamentadas, evaluación con criterios propios del agente.
  4. Negocio: resolución, deflexión, tiempo ahorrado.
  5. Seguridad: guardrails que saltan, intentos de inyección, datos personales en las respuestas.

Las dos primeras son de ingeniería, la cuarta de producto, y la calidad y la seguridad son de ambos.

Del flujo diseñado al real

Cuando el agente tiene un grafo explícito, como en LangGraph, se puede ir más lejos: comparar el flujo que se diseñó con el que de verdad ocurre. Bucles no previstos, nodos que se saltan, variantes que acaban casi siempre en escalado. Ninguna herramienta centrada en trazas lo ofrece de forma nativa, y es una de las preguntas abiertas más interesantes del campo.

La carta de los domingos

Un ensayo, tres lecturas y lo que la comunidad está construyendo. Una vez por semana.

Quiero recibirla

Escríbenos y te sumamos a la lista. Sin publicidad; te puedes ir cuando quieras.