# AIエージェントをソフトウェアに組み込むプラクティス # Risk-based Human Approval｜リスクベース人間承認 🎯 エージェントに「全部お任せ」も「全部確認」も間違いです。操作のリスクに応じて自動実行・人間承認・禁止を動的に振り分けるのが正解です。 🔥 解決する課題 エージェントが外部システムに副作用を持つ操作を実行できるとき、すべてを自動実行すれば不可逆な損害が起きえます。しかしすべてに人間承認を求めれば待ち時間で業務が止まり、エージェントの自動化の価値が消失します。LLMに「危険だと思ったら聞いて」と指示しても、その判断自体が確率的でありすり抜けが起きます。 💡 提案パターン 操作をリスクスコア（不可逆性 x 失敗コスト）で3層に分類します。低リスク（読取・可逆操作）は自動実行、中〜高リスク（不可逆または高コスト）は人間承認を経由、極高リスク（不可逆かつ致命的）は禁止とします。分類はLLMではなく決定論的なルールエンジンで行い、承認タイムアウト後のデフォルトは安全側（自動却下）に倒します。さらに段階的自律性（Autonomy Ladder）により、エージェントの実績に応じて閾値を動的に調整する仕組みも設計できます。 ✅ 選定条件 使うとき： - エージェントが書込・削除・送信など副作用を伴う操作を実行する - 操作によって不可逆性と失敗コストが異なり、一律ポリシーでは過剰か不足になる - 人間がレビューに関与できる運用体制がある 使わないとき： - すべての操作が読取専用で副作用がない - 失敗コストが一律に低くロールバックが容易 - レイテンシ要件が極めて短く人間介在を許容できない ⚠️ 落とし穴 - リスク分類自体をLLMに任せてはいけません。分類は決定論的なコードかポリシーエンジンの責務です - 承認待ちの状態を永続化しないと、プロセス再起動で承認待ち操作が消失します - 条件付き承認（パラメータ修正して実行）を設計に含めないと、却下と再提案のラウンドトリップが増えます 🔧 実装方針 - リスク分類はツール名×アクション名の静的テーブルまたはポリシーエンジンで行い、LLMには委譲しません - リスクスコアは不可逆性（reversibility）と失敗コスト（failure_cost）の積で算出し、閾値で3層（auto/approval/forbidden）に振り分けます - 承認待ち状態は耐久的なストア（キュー＋永続化）に保持し、プロセス再起動で消失しない設計にします - 承認タイムアウト時のデフォルト動作は安全側（自動却下）に倒します - リスクポリシーはYAML等の宣言的設定として外部化し、コード変更なしでルール追加・変更できるようにします #AIエージェント# #ソフトウェアアーキテクチャ#

# AIエージェントをエンタープライズシステムに組み込む意思決定ポイント # 自律 vs 決定論ワークフロー｜Autonomous vs Deterministic Workflow 🎯 ポイント エージェントに「自由に考えて動いて」と任せますか、それとも「この手順通りに実行して」と指示しますか？ 自律は柔軟だが予測不能、決定論は硬直だが監査可能。この分岐を副作用の可逆性と影響度で判断せず「なんとなく自律」で設計すると、不可逆な操作をエージェントの自律判断に委ねて取り返しのつかない事態を招きます🔑 📋 概要 自律型はエージェントが自由にステップを計画・実行するアプローチです。タスクのバリエーションが多く、事前にすべてのフローを定義するのが非現実的な場面で力を発揮します。情報検索・要約・分析など読み取り専用の操作が中心で、誤りがあっても容易に取り消し可能な場合に適しています。決定論ワークフローは事前定義されたフローに従わせるアプローチで、操作の副作用が不可逆または高影響（決済処理、契約変更、本番デプロイ、人事異動）な場合、そしてSOX / GDPR / 金融規制により監査証跡が必須な場合に選びます📊 🔍 意思決定のポイント 判断は副作用の有無と可逆性で行います： 副作用なし（読み取り専用）→ 自律で問題なし 副作用あり＋可逆 → 自律＋事後検証で対応可能 副作用あり＋不可逆 → 決定論＋事前承認が必須 規制要件あり → 決定論で監査証跡を確保 タスクの多様性も重要な判断材料です。パターンが固定的なら決定論で最適化し、多様で予測不能なら自律で柔軟に対応します。ただし自律でも、高リスク操作の前にHITL（Human-in-the-Loop）承認ゲートを挿入すれば安全性を確保できます⚡ 💡 要点と詳細 本番環境では純粋な自律も純粋な決定論も少なく、ハイブリッドが主流です： 自律で計画、決定論で実行：エージェントが自律的にタスクを分解・計画し、各ステップの実行は事前定義されたワークフロー（API呼び出しの順序・バリデーション・承認ゲート）に従います。計画の柔軟性と実行の安全性を両立する最も実用的なパターンです。 リスクレベルによる切り替え：読み取り操作は自律、書き込み操作は決定論ワークフローに自動ルーティング。二重トラック検証と組み合わせるのが定石です。 ServiceNowのインシデント対応を例にすると、原因調査は自律（ログ検索・仮説生成・検証を柔軟に実行）、復旧操作は決定論（定義済みのランブック手順に従う）という使い分けが理にかなっています。 監査証跡は全モードで記録してください。自律モードでも「なぜその操作をしたか」を追跡できる操作ログが不可欠です🔄 ⚖️ トレードオフ 不可逆な操作を自律に任せるリスクは計り知れません。Shopifyで数千商品の価格を一括変更する操作をエージェントの自律判断に委ねた結果、誤った価格設定で損害が発生するケースは現実に起こり得ます😰 一方、すべてを決定論にすると、情報検索や要約まで固定フローに閉じ込め、エージェントの柔軟性を完全に殺してしまいます。「AIエージェント」である意味がなくなり、従来のルールエンジンと何も変わりません。 ハイブリッドの境界が曖昧なのも危険です。自律と決定論の切り替え条件が明文化されていないと、開発者によって実装がバラつきます。操作のリスク分類を先に定義し、切り替え条件をコードで明文化しましょう⚠️ 🛠️ ユースケース ナレッジ検索＋ドキュメント編集：Notion / Confluenceでのナレッジ検索と情報要約は自律モード（読み取り専用、柔軟な探索が価値を生む）。ドキュメントの本番公開や共有範囲変更は決定論ワークフロー（承認ゲート＋監査ログ）📚 EC運営（Shopify）：商品情報の検索・分析は自律。在庫調整は決定論（変更量のバリデーション＋承認）。一括価格変更は決定論＋ドライラン必須（差分プレビュー→人間確認→実行）。同じエージェントでもリスクレベルで実行モデルを切り替えます🛒 インシデント対応（ServiceNow）：原因調査フェーズは自律（ログ検索→仮説立て→検証を柔軟に）。復旧フェーズは決定論（ランブック手順通り、各ステップに承認ゲート）。調査は自由に、実行は厳密に🔧 実践のコツ：「自律と決定論の境界」をリスク分類表として先に定義してください。各操作を「読み取り」「可逆書き込み」「不可逆書き込み」「金銭移動」に分類し、それぞれの実行モデルを決めておくのが安全な運用の出発点です💪 #AIエージェント# #エンタープライズアーキテクチャ#