세션 소개

AI 에이전트 구축은 시작에 불과합니다. 프로덕션 환경에서는 품질을 지속적으로 평가하고 비용을 최적화하며, 변경 사항이 실제 성능 개선으로 이어지는지 객관적으로 확인하는 과정이 중요합니다.

이 세션에서는 Microsoft Foundry, Evaluations, Agent Optimizer를 활용해 AI 워크플로의 품질을 측정하고 벤치마킹하며 지속적으로 개선하는 방법을 알아봅니다. Microsoft IQ를 활용한 효과적인 컨텍스트 구성부터 지속적인 평가를 통한 품질 관리까지, 에이전트의 전체 수명 주기에 걸쳐 측정 가능한 지표를 기반으로 개선하는 방법을 살펴봅니다.

주요 학습 내용

1. Microsoft Foundry를 활용해 모델을 비교하고 선택하는 방법
2. 에이전트에 조직의 컨텍스트를 추가하는 방법
3. 에이전트를 위한 지속적인 평가 파이프라인을 구축하는 방법
4. 품질, 속도, 토큰 비용 간의 균형을 분석하는 방법
5. Agent Optimizer를 활용해 에이전트를 개선하는 방법
6. CI/CD 파이프라인에서 에이전트를 관리하는 방법

활용 기준

• Microsoft Foundry
• Microsoft Foundry Extension for Visual Studio Code
• Microsoft Foundry Evaluations 및 Agent Optimizer
• Foundry 연동을 위한 GitHub Actions

추천 대상

• Microsoft Foundry에서 AI 에이전트를 구축하고 평가 및 최적화하는 데 관심 있는 개발자
• GitHub 및 CI/CD 프로세스에 에이전트를 도입하려는 팀