# AIエージェント開発の意思決定ポイント
🎯 ポイント
「安全のために全部承認制にしよう」は、実は安全ではありません。
1日100件の承認要求が来ると、承認者は内容を読まずにOKを押すようになります。これが「承認疲れ」です。承認があるという形式的な安心感だけが残り、実質的なチェックはゼロ。承認なしよりも危険な状態です。HITL承認頻度の設計は、安全性と自動化のメリットの両立を決める重要なダイヤルです。
📋 概要
HITL(Human-in-the-Loop)承認頻度とは、エージェントの処理中に人間の承認を求める頻度を制御するダイヤルです。全操作に承認を求めるか、高リスク操作のみに絞るか、あるいは事後の標本監査に留めるかを決めます。全件承認はエージェントのスループットを人間の応答速度にまで引き下げ、自動化のメリットを消失させます。逆に承認を完全に排除すると、ハルシネーションやツールの副作用による被害を防ぐ最後の砦が失われます。
🔍 意思決定のポイント
📌 失敗コスト:このダイヤルの最大の駆動変数です。失敗時の損害が大きい操作ほど承認を求め、損害が小さい操作は承認を省きます。
📌 可逆性:操作が取り消し可能かどうかで承認の必要性が変わります。読取操作や下書き生成は承認不要、不可逆な操作(本番DBの削除・メール送信・決済)は事前承認必須です。
📌 承認者の認知負荷:承認頻度が高すぎると承認の質が下がるという逆説的な関係を常に意識してください。
💡 要点と詳細
🏗️ リスクゲート方式を推奨します。操作を3層に分類します。
- 自動実行(auto):読取操作、可逆な小規模書込。承認不要
- 事前承認(approval):不可逆な操作、金銭移動、外部通知。実行前に人間が確認
- 禁止(forbidden):本番データの一括削除など。エージェントには実行権限を与えない
🏗️ バッチ承認が有効です。10件を個別に承認するより、10件の一覧を見て一括承認する方が承認者の負荷が小さく、内容を比較しやすいためチェックの質も上がります。
🏗️ 標本監査で効率化できます。自動実行操作の5〜10%をランダムサンプリングして品質を監査。異常が検出されたらそのカテゴリの自律性レベルを下げます。
🏗️ 承認疲れを定量的に監視してください。承認応答が平均2秒以下であれば、内容を読まずに承認している可能性が高いです。
⚖️ トレードオフ
🔻 承認が少なすぎる:不可逆な操作がLLMの判断だけで自動実行され、ハルシネーションによる誤操作発生時に手遅れに。監査記録が残らずコンプライアンス違反にもなりえます。
🔺 承認が多すぎる:承認疲れで実質的チェックがゼロに。スループットが人間の応答速度に律速され、5分に1回の承認で本来30秒の処理が30分に。ユーザーが頻繁な割り込みにストレスを感じ、エージェント利用を止めてしまいます。
段階的な信頼構築がベストプラクティスです。最初は事前承認で始め、実績が蓄積されたら標本監査に移行し、十分な信頼が得られたら自動実行に昇格させます。
🛠️ ユースケース
📧 メール送信エージェント:下書き生成は承認不要。社内メールは標本監査(10%を事後チェック)。顧客向けメールは全件事前承認。一括メール送信(100件以上)は2人以上の多重承認。定型的な注文確認メールはテンプレートベースの自動実行に昇格可能です。
🗄️ データベース管理エージェント:SELECTは承認不要。INSERT/UPDATEは事前承認→実績でバッチ承認に移行。DELETEは常に事前承認。DDL操作は多重承認。本番と開発で承認ポリシーを分けることが重要です。
🌙 24時間バッチエージェント:承認者不在の夜間は、要承認操作をキューに積んで翌営業日に処理。承認タイムアウトのデフォルトは安全側(自動却下)にすること。自動承認にすると承認プロセスが形骸化します。
#
AIエージェント# #
ソフトウェアアーキテクチャ#