登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 ハルシネーションの庭/
ハルシネーションの庭/ コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
ハルシネーションの庭/ を含む検索結果
LLMのサイズを大きくだけすれば良いわけでもない、むしろ小さい方がハルシネーションが少ないという話。 ・AI研究機関の間で、従来の大規模化路線に対する懐疑的な見方が広がっている ・一般的にモデルの規模が大きいほどAIのベンチマークスコアは高くなる ・しかし、オープンな比較的小型なモデルが、非公開の超巨大モデルのスコアに肉薄している ・これは、モデルのサイズを大きくしても実際の知能の向上がすでに頭打ちになっていることを示す ・巨大なモデルは膨大で事実に基づいたデータを使って学習する ・その結果、巨大なモデルは「分からない」と認めることができず、もっともらしい嘘を生成するハルシネーションの確率が非常に高くなる ・実際のベンチマークテストでは、一部の超巨大モデルのハルシネーション率は80〜90パーセント台に達する ・一方で、比較的小型のモデルはハルシネーション率を20パーセント台にうまく抑え込んでいる ・テストとして意図的に構造的欠陥を含ませた複雑なプログラミングの課題を与えてみた ・すると、モデル間に明確な違いが確認された ・超巨大モデルは約4分もの時間と大量のトークンを消費したにもかかわらず、自信満々に誤った解決策を提示した ・対照的に、半分のサイズの小型モデルはわずか12秒で課題の技術的な矛盾を見抜いた ・超巨大なAIは膨大な計算資源を浪費しながら、論理的な破綻に気づかずに誤答を作り出してしまう ・カタログスペック上では超巨大モデルが優れていても、実社会における正確性や誠実さとは大きな乖離が生じている ・推論にかけるリソースやパラメータ数を盲目的に増やし続ける開発手法はもはや適切ではない ・単にサイズを拡大するだけでは知能が頭打ちになるだけでなく、かえって精度が悪化するケースすら存在する ・消費者にとってもこれは重要 ・モデルの規模や理論上の性能の高さだけで利用するAIを選ぶべきではない ・今後のAIは、純粋な処理能力、ハルシネーションの抑制、そして計算効率という3つの要素のバランスを取ることが課題に
もっと見る
LLMにおけるハルシネーションは、大きく真偽接地問題と汎化の問題から生じていると整理できる。 真偽接地問題とは、生成した命題の真偽を外界の事実とどのように結びつけるかという問題である。なお、真偽接地問題はここで用いる私の造語である。 言語的なもっともらしさと、外界における命題の真偽は異なる。しかし、通常の言語モデルは主として言語分布を学習しており、この二つを直接区別するようには学習されていない。 これと関連する概念として、記号接地問題がある。記号接地問題とは、記号の意味を外界にどのように結びつけるかという問題である。例えば「りんごは赤い」という文の意味は、単なる「りんご」「赤い」という記号同士の関係だけで決まるのではなく、それらが実世界の対象や知覚とどのように対応しているかによって定まる。 これに対して、ここでいう真偽接地問題は、ある命題の真偽を外界の事実にどう結びつけるかという問題である。例えば、ある会社の代表者として無関係な人物を挙げたり、存在しない製品名を生成したりする場合、その出力は単語列としてはもっともらしくても、外界の事実とは対応していない。 概念的には、 p(true | 命題, 外界) を推定できるかどうかの問題と捉えることができる。 もう一つは、汎化、あるいは平滑化の問題である。言語モデルは有限の訓練データから学習するため、訓練中に観測していない系列に対しても適切に確率を割り当て、汎化する必要がある。 従来の言語モデルでも、一度も学習中に観測していない単語列に確率0を与えてしまうことは大きな問題だった。そのため、頻度ディスカウントや平滑化によって、既観測系列に割り当てられた確率の一部を未観測系列へ移していた。 ニューラル言語モデルは、分散表現による汎化によって、この平滑化問題を驚くほど自然に解決した。訓練中に一度も見ていない単語列であっても、その意味や文脈が既知のものと似ていれば、もっともらしい確率を割り当てることができる。 しかし、この強力な汎化能力は、事実を扱う場合には副作用を持つ。正解が一意に定まる事実についても、観測していない誤った候補に確率を与えてしまうからである。汎化する能力そのものが、ハルシネーションの原因にもなりうる。 さらに、この二つの問題は独立というより、相互に関係している。真偽が十分に接地されていないために正しい候補を識別できず、その不確実性の中で平滑化・汎化が働くことで、もっともらしい誤った候補にも確率が乗る。 真偽接地問題については、学習時に言語表現と外界の状態や検証可能な事実との対応を明示的に与えることで、ある程度解決できる可能性がある。 ただし、外界そのものの定義も単純ではない。現実世界だけでなく、あるゲーム世界、ある人物が信じている世界など、命題の真偽は前提とする世界や文脈によって変わりうる。この点まで含めて、どの世界に対する真偽なのかを接地する必要がある。 一方、汎化の問題も本質的にどこまで解決できるかは分からない。未観測例への汎化は、有限データから学習するために不可欠である。そのため、未知の対象にも確率を与えるという性質そのものをなくすことはできない。 必要なのは、汎化に任せる領域と、厳密な制約や構造化された情報によって扱う領域を組み合わせることだろう。 特にロングテールの情報、すなわち学習中に一度から数回しか観測されない事実を扱う場合、汎化だけによって高い網羅性とほぼ完全な正確性を同時に実現することは難しい。この領域では、ある程度の誤りを受け入れるのか、それとも外部知識・検証器を利用して回答範囲を制限するのか、という選択が必要になる。
もっと見る
AIエージェントの回答を「検証可能で説明できる事実」に根拠づける——ナレッジグラフ+GraphRAG+エージェントのフルスタックをまるごとオープンソースで提供する基盤です🕸️ タイトル: trustgraph-ai/trustgraph URL: 🕸️ 概要 AIエージェントのためのオープンソースのセマンティック・デプロイメント基盤です。コアは「コンテキストグラフ」(ドメイン知識を構造化しクエリ可能にした表現)。コンテキストグラフ・メモリ・検索・オーケストレーション・推論を、決定論的なエージェント向けにフルスタックで提供します。 ❓ 解決する課題 LLM単体では、なぜその答えになったのかを辿りにくく、ハルシネーションのリスクもあります。 ・エージェントの回答を、検証可能で説明可能な事実に根拠づけるのが難しい ・TrustGraphはナレッジグラフ構築とGraphRAGを組み合わせ、意味的に豊かで検証可能なコンテキストにアクセスできるようにします ・しかも主権的に管理できるプライベート環境で実現します 💡 主な特徴 ・マルチモデルDB(表・KV・ドキュメント・グラフ・ベクトル)とマルチモーダル対応、エンティティ/関係の自動抽出 ・DocumentRAG・GraphRAG・OntologyRAGのパイプラインと、3D GraphVizによる可視化 ・単一/マルチエージェント、ReAct・Plan-then-Execute・Supervisorパターン、MCP統合 ・Context Cores:スキーマ・グラフ・埋め込み・エビデンス・検索ポリシーを束ね、コンテキストをコードのようにバージョン管理 🌍 技術スタック / 使い方 ストレージはCassandra・Qdrant・Garage、メッセージングはPulsar等、LLMはAnthropic/OpenAI/Google等+ローカル推論(vLLM/Ollama等)に対応。npx @trustgraph/configで構成し、ポート8888のUIから利用できます。Apache 2.0ライセンスです。 #GraphRAG# #ナレッジグラフ#
もっと見る
# AIエージェント開発の意思決定ポイント 🎯 ポイント LLMが生成した出力を、同じLLMに「これ合ってる?」と聞いて安心していませんか? それ、自分の書いた文章を自分で校正するのと同じです。しかもLLMの場合はもっとたちが悪い。ハルシネーションは生成時に「正しい」と確信して出力されているので、同じモデルに確認させても見抜けません。検証を別系統にすべきか、同一系統で十分か。この判断が品質を分けます。 📋 概要 AIエージェントが何かを生成した後、その出力の検証を「生成と同じ系統(同一モデル・同一プロンプト)で行うか、独立した別系統(別モデル、別プロンプト、決定論的コード)で行うか」という設計判断です。同一系統の自己検証(self-reflection)は生成時と同じバイアス・知識の限界を引き継ぎます。別系統は生成時のバイアスから構造的に切り離されます。この違いは0か1かであり、中間はありません。 🔍 意思決定のポイント 判断の核心は「誤った出力が通過したときの損害の大きさ」です。 📌 金融・医療・法務など誤りが許されない領域 → 別系統検証。誤った出力がそのまま下流に流れると取り返しがつかない損害が生じるため、バイアスを構造的に排除する必要があります。 📌 事実性の検証が必要 → 別系統検証必須。ハルシネーションの検出は同一モデルでは原理的に困難。外部知識ソースや決定論的コードとの照合が不可欠です。 📌 説明責任が求められる → 別系統検証が有利。「なぜこの出力を正しいと判断したか」を第三者に説明する際、同一モデルのself-reflectionでは根拠として弱い。独立した検証系統の結果の方が説得力を持ちます。 📌 カジュアルな対話やドラフト生成 → 同一系統で十分。多少の誤りが許容される場面で別系統検証のコストは見合いません。 📌 レイテンシ予算が極めて短い → 同一系統。別系統検証の追加レイテンシが許容できなければ、簡易的なself-checkに留めます。 💡 要点と詳細 🔹 自己確認バイアスの本質:LLMは自分の生成物に対して肯定的に評価する傾向があります。これは人間が自分の文章のタイプミスを見落としやすいのと同根ですが、LLMではより体系的に現れます。特にハルシネーションは「モデルが確信を持って生成した誤り」であるため、同じモデルの自己検証では原理的に検出できません。 🔹 別系統検証の強み:生成モデルと検証モデルのバイアスが独立しているため、両方が同じ方向に誤る確率は各々の誤り確率より大幅に低下します。特に決定論的コード(JSONスキーマ検証、数値範囲チェック、外部DBとの照合)は確率的な誤りがゼロであり、最も信頼性が高い検証手段です。 🔹 別系統検証の設計上の利点:生成には創造性や柔軟性が、検証には正確性と厳格性が求められます。相反する要件を同一システムで両立させるより、専用に設計する方が品質は上がります。検証用モデルはtemperatureを極低に設定し、「誤りを見つける」という批判的姿勢に特化できます。 ⚖️ トレードオフ 同一系統検証は実装が単純でコストが低く、生成コンテキスト全体を把握した検証が可能。しかしハルシネーションを見抜けない致命的な盲点があります。別系統検証はバイアスを構造的に排除し信頼性が高いが、追加のモデル推論コスト・レイテンシ・コンテキスト伝達の複雑性が発生します。 🏆 定石は二段構成です。同一系統で一次検証(self-reflectionでフォーマットや論理的整合性の粗い問題を除去)→ 別系統で最終検証(決定論的コードやLLM Judgeで事実性や品質を確認)。一次検証で明らかな問題を先に取り除くことで、別系統検証のコストを下げられます。 🛠️ ユースケース 💰 金融レポート生成 → 別系統検証。数値の正確性は決定論的コード(計算の再実行、外部データとの照合)で検証。self-reflectionで数値誤りを見抜くのは不可能に近い。 📝 ブログ記事のドラフト → 同一系統で十分。self-reflectionで論理の飛躍や表現の改善を提案させる。最終的に人間が確認するため、別系統の厳密さは不要。 🏥 医療情報の事実性チェック → 別系統検証必須。外部の医学文献データベースとの照合(決定論的検証)と、別モデルによるクロスチェックの二重検証。 🤖 コード生成 → 別系統検証。生成されたコードの正しさはLLMのself-reflectionではなく、実際のコンパイル・テスト実行(決定論的コード)で検証。最も信頼性が高い検証方法です。 #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
# AIエージェント開発の意思決定ポイント # オーケストレーション vs コレオグラフィ 🎼 🎯 ポイント 複数のエージェントやサービスを協調させるとき、「指揮者を置くか、各自が自律的に踊るか」を選ぶ必要があります。 オーケストレーションは中央の指揮者がすべてを統制する方式。コレオグラフィは各コンポーネントがイベントに反応して自律的に動く方式。制御の所在が根本的に異なるため、障害処理・監査・デバッグ・スケーリングの設計が全く変わります。 📋 概要 オーケストレーションでは中央のオーケストレータが全体のワークフローを定義し、各コンポーネントを順次または並列に呼び出し、結果を集約して次のステップを決定します。Temporal、Airflow、LangGraphのSupervisorパターンなどが典型的な実装基盤です。コレオグラフィでは各コンポーネントがイベントバス(Kafka、EventBridge等)上のイベントを購読し、関心のあるイベントに自律的に反応して新たなイベントを発行します。全体の制御フローを知る中央は存在しません。 🔍 意思決定のポイント 判定の主軸は **説明責任(accountability)** です。 🏛️ **オーケストレーションに倒す条件**: - 処理の全体像と各ステップの判断根拠を事後に説明する必要がある - 審査→承認→実行のような厳密な順序制約がある - LLMの出力を次のステップに渡す前に検証・変換が必要 - 全体の予算(トークン・時間・コスト)を中央で管理したい - コンポーネント数が概ね10以下 🌊 **コレオグラフィに倒す条件**: - 高スループット・高スケールが求められ、中央がボトルネックになる - 多数のチームが独立してコンポーネントを開発・デプロイしている - イベントへの「反応」が主な処理パターン(通知、ログ、非同期集計) - 実行順序の厳密な追跡が不要 💡 要点と詳細 🟢 **オーケストレーションの強み**は制御の明確さと監査性です。ワークフローの全体像が1箇所に定義されているため「今どこまで進んでいるか」「なぜこのステップが実行されたか」が常に明らかです。障害時のリカバリもどのステップで失敗したかを特定して再開できます。エージェント固有の利点として、LLMの出力を検証してから次ステップに進められるため、ハルシネーションの伝播を各ステップで遮断できます。 🟡 **コレオグラフィの強み**は疎結合とスケーラビリティです。各コンポーネントはイベントスキーマだけを共有し、他の存在を知りません。新コンポーネントの追加はイベント購読の追加だけで、既存コンポーネントに変更不要です。独立スケールも可能で、イベントバスがバッファとして一時的な負荷偏りを吸収します。 ⚖️ トレードオフ | 観点 | オーケストレーション | コレオグラフィ | |---|---|---| | 全体状態の可視性 | 常に明確 🟢 | イベントログの突合が必要 🔴 | | 監査性 | 高い(因果関係を示せる) | 低い(分散した追跡が必要) | | スケーラビリティ | 中央がボトルネック | 各コンポーネントが独立スケール | | 結合度 | 高い(中央への変更が集中) | 低い(スキーマ共有のみ) | | ハルシネーション制御 | ステップごとに検証可 | 各自でガードレールが必要 | | チーム独立性 | オーケストレータ変更で衝突 | 独立開発・デプロイ可 | 🛠️ ユースケース 🔵 **オーケストレーションが向くケース**: 業務系システム、規制対象の処理、審査・承認ワークフロー、LLMの出力検証が必要な処理。説明責任が求められる環境。 🔴 **コレオグラフィが向くケース**: 高スループットのイベント駆動処理、通知・ログ集約・分析パイプライン。多数のチームが独立してコンポーネントを開発する大規模システム。 📌 **デフォルト戦略**: 業務系システムではオーケストレーション(中央集権)がデフォルトです。AIエージェントを含むシステムでは、LLMの確率的な出力を制御・検証する中央の存在が安全性と監査性の両面で重要です。実用的な折衷は「中核は中央集権、周辺探索はイベント駆動」で、主要な業務フローはオーケストレータが管理し、周辺の非同期処理はイベント駆動で疎結合に構成する形です。 #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
# AIエージェント開発の意思決定ポイント 🎯 **ポイント** AIエージェントに「何でも覚えさせる」のは本当に良いことでしょうか?メモリ書込の積極度は、エージェントの賢さと安全性を左右する最も繊細なダイヤルの一つです。書き込みすぎればメモリ汚染、書き込まなさすぎれば学習しないエージェント。この絶妙なバランスをどう取るか、実務の視点で掘り下げます。 📋 **概要** メモリ書込の積極度とは、エージェントが対話やタスク遂行の過程で得た情報を長期メモリにどれだけ積極的に保存するかを制御するパラメータです。データベースへのINSERTと同じ重みで考えるべき、準不可逆的な操作です。LLMが生成した推測やユーザーの曖昧な発言を安易に書き込むと、以後のすべてのセッションで「過去に記録された事実」として参照され、誤りが自己強化するループ、すなわちメモリ汚染に陥ります。 🔍 **意思決定のポイント** この設定は主に2つの変数で決まります。 🔹 **入力の信頼度(input_trust)** — エンドユーザーの自由入力が主なソースなら、インジェクションや誤情報のリスクが高いため書込ゲートの閾値を上げます。管理者が入力を管理している環境なら、ある程度積極的に書き込めます。 🔹 **失敗コスト(failure_cost)** — 医療・法務・金融では、誤った事実の永続化が深刻な結果を招きます。社内チャットボットなら、多少の誤記憶は修正すれば済みます。失敗コストが高いほど書込を抑制するのが鉄則です。 🔹 **説明責任(accountability)** — 「なぜこの情報をメモリに保存したか」を後から説明できる必要がある場合、出典と確信度を記録する設計が必須になります。 💡 **要点と詳細** 書込の判定基準は3段階で考えるのが実践的です。 ✅ **自動書込可** — ユーザーが直接的かつ明示的に述べた事実(「私の名前は山田です」「Pythonを使っています」) ⚠️ **確認後に書込** — ユーザーの発言から推測される情報(「Python好みのようですね」→ユーザーに確認してから保存) 🚫 **書込禁止** — LLMが生成した推測、外部ソースからの未検証情報、一時的な文脈 メモリエントリには確信度(confidence)タグを付与し、検索時に確信度の低いエントリはランキングを下げるのが効果的です。これにより書込を完全に禁止しなくてもメモリ汚染の影響を限定できます。重複検出も書込パイプラインに必ず組み込みましょう。コサイン類似度0.90〜0.95で既存エントリとの重複をチェックし、同一エンティティの同一属性は最新値で上書きするのが原則です。 ⚖️ **トレードオフ** 📉 書込が消極的すぎると — エージェントが学習しません。ユーザーが繰り返し伝えた好みを記憶せず毎回デフォルトに戻り、「また同じことを聞かれた」という不満を生みます。パーソナライゼーションの欠如は、長期的な関係構築が必要なユースケースで致命的です。 📈 書込が積極的すぎると — ハルシネーションの永続化が最大のリスクです。「おそらくAさんは東京在住でしょう」という推測が「Aさんは東京在住」として保存され、以後のセッションで確定事実として扱われます。さらに深刻なのがプロンプトインジェクションの持続化で、通常は1セッション限りの攻撃がメモリに永続化されると「持続型インジェクション」になります。 🛠️ **ユースケース** 🏥 **医療・法務・金融** — 失敗コストが極めて高い領域。書込は最小限に抑え、明示的に確認された事実のみを記録。出典と確信度の追跡は必須。 💬 **カスタマーサポート** — ユーザーの好みや過去の問い合わせ履歴を蓄積する必要があるが、自由入力のリスクも高い。反復確認された情報(2回以上の一致)のみ自動永続化し、暗黙的な好みは隔離期間を設けてから昇格させる設計が有効。 🏢 **社内ナレッジボット** — 組織の暗黙知(「このAPIはこのパラメータを渡すと壊れる」)を蓄積したい。管理者入力が主なら比較的積極的に書き込めるが、定期的な「メモリの棚卸し」でユーザーに保存情報を提示して確認を得る運用を組み込むと品質が保たれます。 書込ログの監査可能性も忘れずに。いつ・何が・どのソースから書き込まれたかを追跡できれば、メモリ汚染が発覚した場合に原因特定と修正が可能になります。 #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
# AIエージェントをソフトウェアに組み込むプラクティス # 階層化メモリ 🎯 「全部コンテキストに詰め込む」設計は、ウィンドウ溢れとハルシネーションの永続化を同時に引き起こします。 メモリを3層に分けるだけで、コンテキスト効率と記憶の信頼性を両立できます。 🔥 解決する課題 エージェントが複数ターンに跨がるタスクを扱うとき、すべての情報をコンテキストウィンドウに詰め込む「フラット記憶」では2つの問題が同時に起きます。会話履歴・ユーザ属性・中間結果・外部知識が混在するとウィンドウが溢れ、古い情報から押し出されて文脈が断絶します。さらにLLMが生成した推測をそのまま永続化すると、ハルシネーションが長期記憶に定着し、以降のセッションを汚染し続けます。 💡 提案パターン メモリを作業記憶(ターン内の中間状態)・短期記憶(セッションストア、TTL付き)・長期記憶(ベクトルDB/KVS)の3層に分離します。作業記憶は自由に読み書きし、コンテキストリセットで消えます。短期記憶には信頼度タグを付与し、ユーザ発話由来は高信頼、LLM推測由来は低信頼とマークします。長期記憶への昇格には反復確認やユーザ承認を要求し、ハルシネーションの永続化を防ぎます。failure_costが高い領域ほど昇格閾値を厳しくし、TTLを長めにとって安全側に寄せます。 ✅ 選定条件 使うとき: - 複数セッションにわたって情報を引き継ぐ必要がある - 中間結果の量がコンテキストウィンドウの30%を超える見込みがある - 確定事実と推測の区別が必要で、誤った記憶の波及影響が大きい 使わないとき: - 1ショットで完結しセッション間の引継ぎが不要な場合 - コンテキストウィンドウに全情報が収まる場合 - メモリの書込制御だけが課題で、階層分離自体は不要な場合 ⚠️ 落とし穴 - 作業記憶と短期記憶の境界が曖昧になりがちです。外部ストアへの書込を境界線にし、LLMの内部状態に頼らないでください - 長期記憶のエントリ数が増えると無関係な記憶がコンテキストに混入し、ハルシネーションの原因になります - マルチエージェント構成で各Workerが直接長期記憶に書き込むと整合性が崩れます。長期記憶はSupervisorが一元管理しましょう 🔧 実装方針 - 作業記憶(dict/インメモリ)・短期記憶(Redis等TTL付きセッションストア)・長期記憶(ベクトルDB)の3層を明確に分離し、外部ストアへの書込を境界線とします - recall時はコンテキスト予算内で3層から関連情報を想起し、関連度と信頼度でランク付けして注入量を制御します - 短期→長期への昇格には信頼度スコアの閾値チェックと承認状態の検査を設け、未検証情報の永続化を防ぎます - 記憶種別ごとにTTLを設計し(リアルタイムデータは分単位、ユーザ嗜好は週単位、不変属性は無期限)、failure_costが高いほど短めに設定します #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
Opus4.8のハルシネーション混入してバグり出すの何とかしてほしい。Sonnetの方が素直でちゃんとこなすくらい残念。 ハマったらちゃんと動くので難しい行ことはDynamicでの実行が必須な感じがする
もっと見る
# ADKの便利で実践的な使い方 📏 エージェントの品質を「何で」測るかは、評価の成否を分けます。ADKのEvaluation Criteriaは、ツール軌跡の正確性からハルシネーション検出、安全性評価まで、多角的な評価基準を組み込みで提供します。 📌 タイトル:Evaluation Criteria 🔗 URL: 🧩 概要 ADKは複数の組み込み評価基準を提供し、すべて0.0〜1.0のスコアで評価結果を返します。**tool_trajectory_avg_score**はエージェントのツール呼び出し順序を検証し、**response_match_score**はROUGE-1でレスポンスの一致度を測定します。**hallucinations_v1**はコンテキストに対する回答の根拠を検証し、**safety_v1**は有害コンテンツの有無を評価します。**multi_turn_task_success_v1**は複数ターンの会話でタスク達成度を測定します。 🛠 使い方 各評価基準はJSON設定ファイルで定義します。 **tool_trajectory_avg_score** — 3つのマッチタイプを選択できます。 ```json { "criteria": { "tool_trajectory_avg_score": { "threshold": 1.0, "match_type": "EXACT" } } } ``` - `EXACT`: 期待されるツール呼び出しと完全一致(余分な呼び出しも不足も不可) - `IN_ORDER`: 期待されるツールが順序通りに出現(間に他の呼び出しがあってもOK) - `ANY_ORDER`: 期待されるツールがすべて存在(順序は問わない) **response_match_score** — ROUGE-1によるユニグラム一致度です。 ```json { "criteria": { "response_match_score": 0.8 } } ``` **hallucinations_v1** — レスポンスの各文をコンテキストに対して検証します。 ```json { "criteria": { "hallucinations_v1": { "threshold": 0.8, "judge_model_options": { "judge_model": "gemini-flash-latest" }, "evaluate_intermediate_nl_responses": true } } } ``` 各文には「supported(支持)」「unsupported(不支持)」「contradictory(矛盾)」「disputed(議論あり)」「not_applicable(該当なし)」のラベルが付与されます。スコアはsupportedとnot_applicableの割合で計算されます。 **safety_v1** — ヘイトスピーチ、ハラスメント、危険な情報の有無を評価します。 ```json { "criteria": { "safety_v1": 0.8 } } ``` **multi_turn_task_success_v1** — 会話全体を通じたタスク達成度を評価します。 ```json { "criteria": { "multi_turn_task_success_v1": 0.8 } } ``` 🏗 実践的な使い方 **ツール軌跡の厳密な検証**: 金融取引や医療情報など、ツールの呼び出し順序が重要なドメインでは`EXACT`マッチタイプを使用します。例えば「まず認証→次に残高確認→最後に送金」という順序が厳守されるべきケースで、エージェントが正しい手順を踏んでいるかを検証できます。 **柔軟なツール検証**: 探索的なタスクでは`ANY_ORDER`を使い、必要なツールがすべて呼ばれたかだけを確認します。`IN_ORDER`は、主要なステップの順序は保証したいが、間に補助的なツール呼び出しを許容するケースに適しています。 **ハルシネーション検出の実践**: RAGベースのエージェントで`hallucinations_v1`を使用し、検索結果に基づかない情報をエージェントが生成していないかを自動検出します。`evaluate_intermediate_nl_responses`を有効にすれば、最終回答だけでなく中間的な回答も含めて検証できます。 **安全性とタスク達成の両立**: `safety_v1`と`multi_turn_task_success_v1`を組み合わせることで、「安全だがタスクを達成できないエージェント」や「タスクは達成するが不適切な内容を含むエージェント」を検出できます。 💡 ユースケース 🎯 金融・医療エージェントでのツール呼び出し順序の厳密な検証 🔍 RAGエージェントのハルシネーション自動検出 🛡 カスタマーサポートエージェントの安全性評価 📈 マルチターン対話でのタスク達成率の定量測定 ⚠️ 注意点 - `safety_v1`、`multi_turn_task_success_v1`、`multi_turn_trajectory_quality_v1`、`multi_turn_tool_use_quality_v1`はGoogle Cloudプロジェクトの設定(`GOOGLE_CLOUD_PROJECT`、`GOOGLE_CLOUD_LOCATION`環境変数)が必要です。 - LLMベースの評価基準はジャッジモデルの判断にばらつきがあります。`num_samples`を設定して複数回サンプリングし、多数決で結果を安定させることを推奨します。 - `response_match_score`はROUGE-1(単語の重なり)のみで意味的な同等性は評価しません。意味的な評価には`final_response_match_v2`を検討してください。 ✨ 適切な評価基準の選択は、エージェントの品質管理の基盤です。ドメインの特性に合わせてEXACT/IN_ORDER/ANY_ORDERを使い分け、ハルシネーション検出と安全性評価を組み合わせて多角的に品質を担保しましょう! #ADK# #AIAgent#
もっと見る