運用・評価

Microsoft FoundryのTrace Replayと評価データ化、Agent本番ログを改善ループへつなぐ

Microsoft FoundryはTrace Replayと本番トレースから評価データセットを生成する機能をプレビュー提供した。会話、LLM、ツール、サブAgentのspanを再生し、代表的な本番トレースを選んで版管理された評価セットへ変換できる。プレビュー制約、Application Insights権限、個人情報、サンプリング偏り、評価漏れを統制する必要がある。