AIエージェント導入の成否は「例外処理」で決まる、全自動化を目標にしてはいけない

AIエージェント導入の企画では、「どこまで人間を減らせるか」が目標になりやすい。

しかし、全自動化率を最大化することは、必ずしも業務の最適化ではない。判断材料が不足している案件、規程同士が矛盾する案件、顧客への影響が大きい案件まで自動処理すれば、処理件数は増えても、誤判断、再作業、苦情、監査対応の費用が増える。

Anthropicは、実用的なAIシステムでは複雑な自律構成より、単純で組み合わせ可能な設計から始めることを勧め、固定された処理経路を持つワークフローと、状況に応じて自ら手順を選ぶエージェントを区別している。OpenAIも、複雑な判断、保守困難なルール、非構造化データを伴う業務をエージェントの有力な対象とし、それ以外では決定論的な仕組みで足りる場合があるとしている。

重要なのは、すべてをエージェントへ置き換えることではない。ルール、固定ワークフロー、エージェント、人間判断を適切に分担し、例外を安全に人へ戻せる業務を作ることである。

自動化には三つの方式がある

AI導入前に、処理を少なくとも三種類へ分ける必要がある。

1. 決定論的なルール

入力と条件が明確で、同じ条件なら必ず同じ結果にする処理である。

• 金額が一定額を超えたら承認へ回す
• 必須項目が欠けていれば差し戻す
• 契約期限を過ぎたら通知する
• 指定形式でなければ受け付けない
• 対象地域外なら処理しない

これらを生成AIへ判断させる理由は薄い。通常のコード、業務ルール、データベース制約の方が安価で、速く、監査しやすい。

2. 固定ワークフロー

処理順序は決まっているが、一部に文章理解や分類が必要な業務である。

1. 文書を受け取る
2. 必要項目を抽出する
3. 規程と照合する
4. 不備を通知する
5. 条件を満たせば次工程へ送る

AIは抽出や要約に使えるが、処理経路そのものはシステムが管理する。毎回同じ手順でよいなら、自律的なエージェントにする必要はない。

3. エージェント

必要な手順を事前に完全には決められず、複数の情報源やツールを状況に応じて選ぶ業務である。

• 競合や市場の調査
• 複雑な問い合わせの原因調査
• 障害対応の初動分析
• 複数システムをまたぐ例外処理
• コードベースを調査して行う修正
• 不足情報を見つけ、追加取得する審査補助

エージェントは柔軟性を得る代わりに、実行時間、費用、誤りの連鎖、監査の難しさが増える。

判断の曖昧さと失敗影響で方式を選ぶ

業務を分類するとき、AIを使えるかどうかだけを見てはいけない。

次の二軸が重要である。

例えば、公開情報から会議候補を探す仕事は、判断が曖昧でも失敗影響は限定的である。一方、採用、不正検知、融資、医療、契約解除の判断は、曖昧さと影響の両方が大きい。

高リスク業務では、AIの精度が高いという理由だけで最終判断を自動化してはいけない。判断根拠を整理し、候補を絞り、異常を指摘する補助として使い、責任ある決定は人間へ残す設計が必要になる。

正常系より先に例外系を設計する

自動化のデモは、必要情報が揃い、外部サービスが動き、規程に矛盾がなく、利用者の依頼が明確な正常系で作られる。

本番運用を壊すのは例外である。

• 必要な資料がない
• 同じ人物の情報が複数ある
• 外部APIが停止している
• 規程と現場運用が食い違う
• 入力内容が矛盾している
• 権限が不足している
• 判断に必要な情報へアクセスできない
• 期限、金額、対象が通常範囲を超える
• 利用者の意図が複数に解釈できる
• 不正や安全上の懸念がある

例外時の動作を「AIが適切に判断する」にしてはいけない。少なくとも次を定義する必要がある。

1. 何を例外と判定するか
2. その場で停止するか、追加情報を取得するか
3. 自動で再試行してよいか
4. 誰へ引き継ぐか
5. 引き継ぎ時に何を渡すか
6. どこから再開するか
7. 誤処理をどう取り消すか

例外処理が決まっていない自動化は、正常系を高速化しただけで、業務全体を安定させてはいない。

人間への引き継ぎは「失敗しました」では足りない

エージェントが判断できない案件を人へ戻しても、担当者が最初から調べ直すなら、効率は上がらない。

引き継ぎには次を含めるべきである。

• 元の依頼
• 確認した資料とURL
• 実行した検索やツール
• 得られた事実
• 見つかった矛盾
• 未確認事項
• 判断できなかった理由
• 推奨する次の行動
• すでに行った変更
• 取り消し方法

人間は、エージェントの結論だけでなく、どの情報からどこまで進んだかを確認できなければならない。

良い引き継ぎは、担当者へ問題を丸投げするのではなく、判断が必要な一点まで業務を圧縮して渡す。

停止条件を明文化する

エージェントは、目的を達成できない場合に検索、再試行、別ツールの利用を繰り返す可能性がある。放置すると、費用と時間が増え、誤った前提を積み重ねる。

停止条件には次が使える。

• 最大実行ステップ数
• 最大推論費用
• 最大処理時間
• 同じエラーの連続回数
• 必須情報が取得できない
• 複数の情報源が矛盾する
• 高リスク条件へ該当する
• 許可されていない操作が必要になる
• 外部サービスが利用できない
• 評価基準を満たせない
• 人間の承認が必要になる

「できるまで続ける」ことは自律性ではない。目的を達成できない状態を認識し、安全に止まる能力もエージェントの品質である。

不確実性を隠さない

生成AIは、情報不足でも自然な回答を作れる。そのため、業務システムでは「分からない」を出力できる設計が必要になる。

不確実性は、一つの自己申告スコアだけで判断しない方がよい。次を組み合わせる。

• 必須資料の有無
• 根拠となる情報源の数
• 情報源同士の一致
• 規程に明示された条件か
• 過去の類似例があるか
• 外部ツールの成功可否
• 出力形式や計算結果の検証
• 評価セット上の失敗傾向

「自信があります」という文章ではなく、判断に必要な証拠が揃っているかをシステムが確認する。

実行を段階化する

最終操作まで一気に実行するより、処理を段階へ分ける方が安全である。

段階1：提案

エージェントは、判断候補、変更案、メール文面、処理計画を作る。実際の変更は行わない。

段階2：限定実行

件数、金額、対象、時間を制限し、復元可能な操作だけを自動化する。

段階3：条件付き自動実行

評価を継続し、安定した正常系だけを自動実行する。例外と高リスク案件は人へ送る。

段階4：範囲拡大

失敗事例、監査結果、利用者影響を確認しながら、対象を広げる。

自動化率を一度に上げるのではなく、実績のある処理だけを徐々に無人化する。

取り消し可能性を業務要件にする

AIが誤る可能性をゼロにはできない。したがって、誤りを検知した後に戻せることが重要になる。

• メールは送信前に下書きへ保存する
• データは削除せず、復元可能な状態へ移す
• 更新前の値を記録する
• 設定変更は版管理する
• 大量処理は小さな単位に分ける
• 本番前にテスト環境で実行する
• 外部公開には承認を入れる
• 誤処理の影響範囲を追跡できるようにする

自動化の価値は、処理速度だけではない。失敗からの復旧時間を短縮できるかも含めて評価する必要がある。

自動化率だけをKPIにしない

「人手を介さず処理した割合」は分かりやすいが、単独では危険な指標である。

自動化率を上げるために、判断の難しい案件まで機械処理へ押し込む誘因が生まれるからだ。

見るべき指標は次である。

成熟した自動化は、人間を完全に排除するのではなく、人間を必要とする案件を正確に絞る。

導入前に作るべき業務分解表

対象業務について、次を一覧化する。

この表を作ると、AIを入れる前から、業務の曖昧さ、属人性、規程不足、システム間の断絶が見える。

結論

AIエージェントは、手順を固定しにくい業務へ柔軟性を与える。しかし、その柔軟性を全自動化の理由にしてはいけない。

明確な条件はルールで処理し、決まった順序は固定ワークフローで動かし、状況判断が必要な部分だけをエージェントへ任せる。高リスク、不確実、例外的な案件は、十分な文脈とともに人間へ戻す。

優れた自動化は、例外が存在しないふりをしない。例外を早く発見し、安全に停止し、人間が短時間で判断できる状態へ変換する。

AIエージェント導入の成否を決めるのは、正常系のデモではない。止まり方、戻し方、引き継ぎ方まで含めた例外設計である。

一次情報

• Anthropic: Building effective agents
• OpenAI: A practical guide to building agents
• NIST: AI Risk Management Framework
• OpenAI: Designing AI agents to resist prompt injection