# AIエージェント開発の意思決定ポイント 🎯 ポイント LLMが生成した出力を、同じLLMに「これ合ってる？」と聞いて安心していませんか？ それ、自分の書いた文章を自分で校正するのと同じです。しかもLLMの場合はもっとたちが悪い。ハルシネーションは生成時に「正しい」と確信して出力されているので、同じモデルに確認させても見抜けません。検証を別系統にすべきか、同一系統で十分か。この判断が品質を分けます。 📋 概要 AIエージェントが何かを生成した後、その出力の検証を「生成と同じ系統（同一モデル・同一プロンプト）で行うか、独立した別系統（別モデル、別プロンプト、決定論的コード）で行うか」という設計判断です。同一系統の自己検証（self-reflection）は生成時と同じバイアス・知識の限界を引き継ぎます。別系統は生成時のバイアスから構造的に切り離されます。この違いは0か1かであり、中間はありません。 🔍 意思決定のポイント 判断の核心は「誤った出力が通過したときの損害の大きさ」です。 📌 金融・医療・法務など誤りが許されない領域 → 別系統検証。誤った出力がそのまま下流に流れると取り返しがつかない損害が生じるため、バイアスを構造的に排除する必要があります。 📌 事実性の検証が必要 → 別系統検証必須。ハルシネーションの検出は同一モデルでは原理的に困難。外部知識ソースや決定論的コードとの照合が不可欠です。 📌 説明責任が求められる → 別系統検証が有利。「なぜこの出力を正しいと判断したか」を第三者に説明する際、同一モデルのself-reflectionでは根拠として弱い。独立した検証系統の結果の方が説得力を持ちます。 📌 カジュアルな対話やドラフト生成 → 同一系統で十分。多少の誤りが許容される場面で別系統検証のコストは見合いません。 📌 レイテンシ予算が極めて短い → 同一系統。別系統検証の追加レイテンシが許容できなければ、簡易的なself-checkに留めます。 💡 要点と詳細 🔹 自己確認バイアスの本質：LLMは自分の生成物に対して肯定的に評価する傾向があります。これは人間が自分の文章のタイプミスを見落としやすいのと同根ですが、LLMではより体系的に現れます。特にハルシネーションは「モデルが確信を持って生成した誤り」であるため、同じモデルの自己検証では原理的に検出できません。 🔹 別系統検証の強み：生成モデルと検証モデルのバイアスが独立しているため、両方が同じ方向に誤る確率は各々の誤り確率より大幅に低下します。特に決定論的コード（JSONスキーマ検証、数値範囲チェック、外部DBとの照合）は確率的な誤りがゼロであり、最も信頼性が高い検証手段です。 🔹 別系統検証の設計上の利点：生成には創造性や柔軟性が、検証には正確性と厳格性が求められます。相反する要件を同一システムで両立させるより、専用に設計する方が品質は上がります。検証用モデルはtemperatureを極低に設定し、「誤りを見つける」という批判的姿勢に特化できます。 ⚖️ トレードオフ 同一系統検証は実装が単純でコストが低く、生成コンテキスト全体を把握した検証が可能。しかしハルシネーションを見抜けない致命的な盲点があります。別系統検証はバイアスを構造的に排除し信頼性が高いが、追加のモデル推論コスト・レイテンシ・コンテキスト伝達の複雑性が発生します。 🏆 定石は二段構成です。同一系統で一次検証（self-reflectionでフォーマットや論理的整合性の粗い問題を除去）→ 別系統で最終検証（決定論的コードやLLM Judgeで事実性や品質を確認）。一次検証で明らかな問題を先に取り除くことで、別系統検証のコストを下げられます。 🛠️ ユースケース 💰 金融レポート生成 → 別系統検証。数値の正確性は決定論的コード（計算の再実行、外部データとの照合）で検証。self-reflectionで数値誤りを見抜くのは不可能に近い。 📝 ブログ記事のドラフト → 同一系統で十分。self-reflectionで論理の飛躍や表現の改善を提案させる。最終的に人間が確認するため、別系統の厳密さは不要。 🏥 医療情報の事実性チェック → 別系統検証必須。外部の医学文献データベースとの照合（決定論的検証）と、別モデルによるクロスチェックの二重検証。 🤖 コード生成 → 別系統検証。生成されたコードの正しさはLLMのself-reflectionではなく、実際のコンパイル・テスト実行（決定論的コード）で検証。最も信頼性が高い検証方法です。 #AIエージェント# #ソフトウェアアーキテクチャ#