Microsoft Reactor

En la tercera sesión de nuestra serie de Python + Agents, nos vamos a enfocar en dos componentes esenciales para construir agents confiables: observability y evaluation.

Vamos a empezar con observability, usando OpenTelemetry para capturar traces, metrics y logs de las acciones del agent.
Vas a aprender a instrumentar tus agents y usar un dashboard local de Aspire para identificar slowdowns y failures.

Luego, vamos a ver cómo evaluar el comportamiento del agent usando el Azure AI Evaluation SDK. Vas a ver cómo definir criterios de evaluación, correr assessments automatizados sobre un set de tasks, y analizar resultados para medir accuracy, helpfulness y task success.

Al final de la sesión, vas a tener herramientas y workflows prácticos para monitorear, medir y mejorar tus agents—para que no solo funcionen, sino que también sean confiables y verificablemente efectivos.