Microsoft Foundryは2026年6月の更新で、Agent実行を時系列に確認するTrace Replayと、本番トレースを評価データセットへ変換する機能を公開した。いずれもプレビューで、SLAがなく本番依存は推奨されていない。
Trace ReplayはConversation IDまたはTrace IDから、LLM呼び出し、ツール実行、ユーザー入力、サブAgent、評価結果をspan単位で確認できる。トレースからのデータ生成は、本番挙動を代表するサンプルを選び、版管理された評価セットへ変換する。
何が変わったか
障害時にログを手作業で追うだけでなく、会話をUser viewとTrajectories viewで再生できる。さらに本番トレースをIntelligent Samplingで選別し、評価APIへ渡せるquery-response形式のデータセットを作成できる。
変更前後の差
| 項目 | 従来運用 | 新機能 |
|---|---|---|
| 原因分析 | ログ検索 | span階層と再生 |
| 費用分析 | 集計値中心 | span別トークン・時間 |
| 評価セット | 手作業・合成 | 本番トレースから生成 |
| サンプリング | 任意抽出 | 代表性を考慮した選別 |
| 改善ループ | 分断しやすい | 観測から評価へ接続 |
誰に影響するか
Foundry Agent Service、本番Agent、OpenTelemetryで計装した外部Agentを運用するチームに影響する。Application Insights、Log Analytics、ストレージ、評価データの権限を複数部門で管理している場合は、導入前に責任境界を整理する必要がある。
期限
強制期限はない。プレビューであるため、本番障害対応の唯一の手段にしない。既存ログと評価基盤を残したまま、補助機能として導入する。
必要な対応
トレースに含める情報、除外する個人情報、保持期間、閲覧権限を定義する。Trace Replayの閲覧にはApplication InsightsとLog Analyticsの権限が必要である。データセット生成は選ばれたサンプルを人が確認してから評価へ使う。
実装・移行手順
- Agentのトレースを有効化し、Conversation IDとTrace IDを記録する。
- Application Insightsへのアクセス権を最小化する。
- 機密情報をspan属性や本文へ残さないフィルターを実装する。
- 代表的な失敗・高コスト会話をTrace Replayで確認する。
- トレース期間と最大サンプル数を指定して評価セットを生成する。
- 生成行のquery、response、説明を人手確認する。
- データセット名とversionを固定して回帰評価を実行する。
- 本番障害、顧客報告、評価失敗を同じIssueへ関連付ける。
失敗しやすい点
- プレビュー機能を唯一の監視・評価基盤にする
- トレースへ秘密情報や個人情報をそのまま保存する
- Application Insightsの権限を広く付与する
- 自動サンプリングを無条件に代表的とみなす
- 頻度の低い重大事故を評価セットから落とす
- トレース取り込み前に生成ジョブを開始し空データになる
- 生成データを確認せずFine-tuningへ流す
リスク
本番トレースは実利用を反映するが、機密情報、偏り、攻撃入力、誤回答も含む。自動選別で一般ケースが増えると、低頻度の重大リスクが薄まる。ネットワーク要件としてApplication Insightsやストレージの公開アクセスが必要になる場合もあり、Private Link方針と衝突し得る。
評価方法
- 障害原因の特定時間
- 高トークンspanの削減率
- トレースから評価セットへの採用率
- 個人情報・秘密情報の検出件数
- 重大失敗ケースの保持率
- データセット版ごとの回帰結果
- 評価実行費用
- Replayが利用できない場合の復旧時間
ロールバック
Trace Replayや自動生成を無効化しても、既存のOpenTelemetry、Application Insights検索、手動評価セットで運用できるようにする。生成済みデータセットに問題があればversionを固定して前版へ戻し、問題行を削除した新versionを作る。
編集部分析
観測と評価が接続されることで、Agent改善は現実の失敗を基に回せる。ただし本番データを評価へ転用するほど、プライバシーと選択偏りの統制が重要になる。自動サンプリングを人のレビューの代替にせず、重大ケースを別の固定回帰セットとして維持するべきである。
実務チェックリスト
- [ ] トレースの保持・閲覧方針を定義した
- [ ] Conversation IDとTrace IDを追跡できる
- [ ] 秘密情報・個人情報を除外した
- [ ] Application Insights権限を最小化した
- [ ] 生成サンプルを人手確認する
- [ ] 重大事故の固定評価セットを別管理する
- [ ] データセットversionを固定する
- [ ] プレビュー障害時の代替手順を維持する