セッションの紹介
AIエージェントの構築は始まりに過ぎません。継続的に品質を維持・向上させるためには、適切な評価、コスト管理、そして改善効果を可視化する仕組みが必要です。
本セッションでは、Microsoft Foundryの評価機能（Evaluations）、Agent Optimizer、Microsoft IQを活用し、AIワークフローの品質を継続的に評価・測定しながら改善する方法をご紹介します。実践的なデモを通じて、AIエージェントの品質、コスト、パフォーマンスを可視化し、データに基づいて継続的な最適化を実現するためのアプローチを学びます。

学習内容
• Microsoft Foundry を活用したモデルの比較・評価と、要件に応じた最適なモデルの選定方法
• エージェントに組織固有の知識やコンテキストを組み込む方法
• エージェントの継続的な評価パイプラインを構築する方法
• 品質、応答速度、トークンコストのバランスを分析し、最適化するアプローチ
• Agent Optimizer を活用してエージェントのパフォーマンスを継続的に改善する方法
• CI/CD パイプラインでエージェントを継続的に管理・運用する方法

使用技術
• Microsoft Foundry
• Microsoft Foundry Extension for Visual Studio Code
• Microsoft Foundry Evaluationsとエージェントオプティマイザー
• GitHub actions と Microsoft Foundry の連携

こんな方におすすめ
• Microsoft Foundry を活用したエージェントの構築、評価、最適化に関心のある方
• GitHub および CI/CD プロセスにエージェントを導入・改善・運用したい開発チーム

講演者
Keisuke Hatasaki