AIエージェントをエンタープライズシステムに組み込むプラクティス 【信頼度ゲート棄権・エスカレーション】 💡 最も危険なAIは「分からないのに答えるAI」です。「答えない」を正常な出力として設計することが、エンタープライズ品質への第一歩です。 🔥 解決する課題 - 分からないことを分からないと言えず、ハルシネーションで誤情報を提供する - エージェントが根拠のない確信で不正確な回答をする（過信） - 専門知識が必要な質問に不適切な自動回答を返してしまう - 有人対応すべき案件がエージェントで完結し、顧客満足度が低下する 🏗️ 提案パターン 自己評価・検索ヒット品質・検証器合否・不確実性シグナルの複合でスコアリングし、閾値未満なら「分かりません」と回答して人間へ転送（warm handoff）します。転送時はそれまでの会話文脈を引き継ぎ、人間がゼロから対応する必要をなくします。封じ込め率（エージェントが自力解決する割合）と誤答率のトレードオフ曲線を実測し、誤答コストが高い業務ほど棄権寄りに閾値を設定します。 ✅ 選定条件 - 向き：顧客対応・専門領域・リスクの高い助言など誤答コストが高い業務 - 不向き：誤りが無害なブレインストーミングや探索的な対話 ⚠️ 落とし穴 - 閾値が高すぎると人間への丸投げが増え、エージェント導入の意味がなくなる - 閾値が低すぎると誤答が増え、信頼を失う - エスカレーション時に文脈を引き継がないと、顧客が同じ説明を繰り返す羽目になる 🛠️ 実装方針 1. 信頼度スコアを「自己評価＋検索ヒット関連度＋検証器合否」の複合で算出するスコアリング関数を実装します 2. 閾値未満時のwarm handoffでは、会話履歴・抽出済みエンティティ・試行済み回答をZendeskチケットまたはSlackスレッドに自動転送します 3. エスカレーション経路をZendesk（顧客対応）、Slack（社内）、PagerDuty（緊急）の3段階で設計します 4. 封じ込め率と誤答率のトレードオフ曲線を週次で可視化し、ドメインごとに閾値を調整します 5. 棄権理由を構造化ログに記録し、頻出する棄権パターンからナレッジベースの改善ポイントを特定します #AIエージェント# #エンタープライズアーキテクチャ#