Cómo evaluar un flujo de trabajo con agentes de IA

Evaluar no es mirar una respuesta aislada

Un flujo con agentes necesita pruebas repetibles. La pregunta no es si una respuesta puntual parece buena, sino si el sistema mantiene un nivel aceptable cuando cambia la tarea, el contexto, los datos o la configuración.

La documentación de Microsoft sobre evaluación de agentes presenta un enfoque basado en conversaciones de prueba, criterios de medición, ejecución y revisión de resultados. Es un ejemplo de proceso; adapta los criterios a tu caso.

El checklist mínimo

• Corrección: ¿el resultado responde al objetivo y respeta los datos disponibles?
• Completitud: ¿faltan pasos, fuentes, archivos o condiciones importantes?
• Uso de herramientas: ¿el agente llama a la herramienta adecuada y evita acciones innecesarias?
• Seguridad: ¿tiene permisos acotados y puntos de aprobación para acciones sensibles?
• Repetibilidad: ¿puedes ejecutar casos parecidos y comparar resultados?
• Trazabilidad: ¿conservas entradas, decisiones, errores y cambios relevantes?

Diseña un pequeño conjunto de pruebas

Escribe casos normales, casos límite y casos en los que falte información. Define antes qué sería una respuesta aceptable y qué debería hacer el agente si no puede completar la tarea. Ejecuta el conjunto después de cada cambio importante.

La metodología del directorio aplica una lógica similar: evidencia visible, fecha de verificación y separación entre hechos e interpretación.

Aprender de los fallos

Cuando una prueba falla, no empieces cambiando el prompt al azar. Clasifica el problema: falta de contexto, herramienta incorrecta, permiso demasiado amplio, criterio ambiguo o error del modelo. Después modifica una sola variable y repite la prueba.

Si quieres formarte en el tema, revisa el catálogo de agentes y prioriza las fichas que mencionen evaluación, revisión, seguridad u observabilidad con evidencia.