LLMにおけるハルシネーションは、大きく真偽接地問題と汎化の問題から生じていると整理できる。 真偽接地問題とは、生成した命題の真偽を外界の事実とどのように結びつけるかという問題である。なお、真偽接地問題はここで用いる私の造語である。 言語的なもっともらしさと、外界における命題の真偽は異なる。しかし、通常の言語モデルは主として言語分布を学習しており、この二つを直接区別するようには学習されていない。 これと関連する概念として、記号接地問題がある。記号接地問題とは、記号の意味を外界にどのように結びつけるかという問題である。例えば「りんごは赤い」という文の意味は、単なる「りんご」「赤い」という記号同士の関係だけで決まるのではなく、それらが実世界の対象や知覚とどのように対応しているかによって定まる。 これに対して、ここでいう真偽接地問題は、ある命題の真偽を外界の事実にどう結びつけるかという問題である。例えば、ある会社の代表者として無関係な人物を挙げたり、存在しない製品名を生成したりする場合、その出力は単語列としてはもっともらしくても、外界の事実とは対応していない。 概念的には、 p(true | 命題, 外界) を推定できるかどうかの問題と捉えることができる。 もう一つは、汎化、あるいは平滑化の問題である。言語モデルは有限の訓練データから学習するため、訓練中に観測していない系列に対しても適切に確率を割り当て、汎化する必要がある。 従来の言語モデルでも、一度も学習中に観測していない単語列に確率0を与えてしまうことは大きな問題だった。そのため、頻度ディスカウントや平滑化によって、既観測系列に割り当てられた確率の一部を未観測系列へ移していた。 ニューラル言語モデルは、分散表現による汎化によって、この平滑化問題を驚くほど自然に解決した。訓練中に一度も見ていない単語列であっても、その意味や文脈が既知のものと似ていれば、もっともらしい確率を割り当てることができる。 しかし、この強力な汎化能力は、事実を扱う場合には副作用を持つ。正解が一意に定まる事実についても、観測していない誤った候補に確率を与えてしまうからである。汎化する能力そのものが、ハルシネーションの原因にもなりうる。 さらに、この二つの問題は独立というより、相互に関係している。真偽が十分に接地されていないために正しい候補を識別できず、その不確実性の中で平滑化・汎化が働くことで、もっともらしい誤った候補にも確率が乗る。 真偽接地問題については、学習時に言語表現と外界の状態や検証可能な事実との対応を明示的に与えることで、ある程度解決できる可能性がある。 ただし、外界そのものの定義も単純ではない。現実世界だけでなく、あるゲーム世界、ある人物が信じている世界など、命題の真偽は前提とする世界や文脈によって変わりうる。この点まで含めて、どの世界に対する真偽なのかを接地する必要がある。 一方、汎化の問題も本質的にどこまで解決できるかは分からない。未観測例への汎化は、有限データから学習するために不可欠である。そのため、未知の対象にも確率を与えるという性質そのものをなくすことはできない。 必要なのは、汎化に任せる領域と、厳密な制約や構造化された情報によって扱う領域を組み合わせることだろう。 特にロングテールの情報、すなわち学習中に一度から数回しか観測されない事実を扱う場合、汎化だけによって高い網羅性とほぼ完全な正確性を同時に実現することは難しい。この領域では、ある程度の誤りを受け入れるのか、それとも外部知識・検証器を利用して回答範囲を制限するのか、という選択が必要になる。

Opus4.8のハルシネーション混入してバグり出すの何とかしてほしい。Sonnetの方が素直でちゃんとこなすくらい残念。 ハマったらちゃんと動くので難しい行ことはDynamicでの実行が必須な感じがする

【雨の日の読書】 『#ハルシネーションの庭／##村崎なつ生』再読。心に傷を抱えた青年と無邪気なアンドロイド、加害性と罪悪感、白いユリと青いワスレナグサ、やさしいまぼろし。#"村崎み"がぎゅっと詰まった素敵な物語です。「言葉に意味があるんじゃなくて、意味を持つから言葉なんだよ」

# AIエージェントをソフトウェアに組み込むプラクティス # Dry-run & Commit｜差分提示してから実行 🎯 LLMがハルシネーションしたパラメータで決済が走る。それ、dry-runで防げます。 Terraformの plan → apply と同じ発想をエージェントのツール呼び出しに適用。「何が変わるか」を見てから実行する二相プロトコルです。 🔥 解決する課題 LLMはハルシネーションで意図しないパラメータを生成することがあり、ツール呼び出しは副作用を伴います。この二つが掛け合わさると、存在しないリソースIDや桁違いの金額で不可逆な操作が実行されるリスクが生まれます。dry-runなしの直接実行では、人間が「エージェントが何をしようとしているか」を確認する手段がなく、問題は事後にしか検出できません。 💡 提案パターン 副作用を伴う操作を「計画（dry-run）→ 差分提示 → 承認 → 実行（commit）」の二相で行います。dry-runフェーズではシステムを一切変更せず差分だけを計算し、承認を得てからcommitフェーズで書込を実行します。承認方式はリスクに応じて段階化し、高リスクは人間承認、中リスクはポリシー自動検証、低リスクは自動承認とします。planにはTTLを設け、状態変化が起きていたら再生成を強制します。 ✅ 選定条件 使うとき： - 不可逆な操作（データ削除、外部API書込、課金処理）をエージェントが実行する - 誤操作が金銭的・法的・運用的な実害を生みうる - 差分を評価するための数秒〜数分の待機が許容される 使わないとき： - 全操作が読み取り専用の場合 - 全操作が可逆かつ低コストの場合（チャット応答生成など） - レイテンシ制約が極めて厳しく承認待ちが許容されない場合 ⚠️ 落とし穴 - planとcommitの間に状態が変わるTOCTOU問題があります。commit時に前提条件を再検証する設計が必須です - 外部APIがdry-runモードを提供していない場合は、パラメータ検証とシミュレーションで代替し「推定」であることを明示します - commitエンドポイントがplan IDなしで呼べると、dry-runを迂回できてしまいます 🔧 実装方針 - ツール実行をdry-run（差分計算のみ）→承認→commit（実行）の三段階パイプラインとして構成し、各フェーズを独立したエンドポイントに分離します - planオブジェクトに変更前後の値・影響範囲・ロールバック手順・前提条件のハッシュを含め、commit時に前提条件の再検証（TOCTOU対策）を行います - commitエンドポイントは有効なplan IDと承認トークンの両方を必須パラメータとし、直接呼び出しによるdry-run迂回を構造的に防止します - planにTTLを設定し、期限切れの場合は再planを強制することで、古い差分に基づく実行を防ぎます #AIエージェント# #ソフトウェアアーキテクチャ#

Expo 注目ブース [EX18] 👉Gemini Notebook + Pixel 10 で操る マルチモーダルで、低ハルシネーションな AI リサーチ 音声や動画、インフォグラフィックなど、さまざまな形式で生成。ポータブルな AI リサーチ技術を実機で体験ください！ 7/30, 31 開催 #GoogleCloudNext🗼#

AIによる物語に頻繁に登場する謎の男「エリアス」と人工知能が引き起こした“モード崩壊” #灯台# #AI# #ハルシネーション# 「遠く忘れ去られた王国に、世界中で名を知られるエリアスという名の地図製作者が住んでいた……」 　...

今週はこちら ＃劇団ボンボヤージュ！＃5 『＃世界で一番正体不明なハルシネーション』 時は平成38年― 私たちの知る世界とは違う時空線で進んだデジタル技術。違和感のある旧世代の価値観。 歪んだ世界の中で長年揉め合う赤と青のIT会社どうしの因縁に翻弄される、 決して結ばれてはいけない男女とそれを取り巻くやんちゃでわんさかな有象無象。 あなたが目撃するのは、本当にどこかで存在する現象か。それとも単なる幻覚か？？？ 令和にアップデートされなかった時代を生きる人々がお送りする、 取るに足らないすったもんだのお話。 【日　時】 4/24(金) 20:00開演 4/25(土) 12:00開演/16:00開演/19:30開演 4/26(日) 12:00開演/16:00開演 (開演の30分前より受付・開場/全席自由席/上演予定時間120程度) 【料　金】 前売3,000円/当日3,500円 【特別企画】 本番直前の2日間、APOCシアターで過去作品の上映会+トーク&ミニライブを行います。 4/21(火) 19:30～『世界で一番頼りにならないスーパースター』 4/22(水) 19:30～『世界で一番可哀想な境遇の人々2022』 ★ご予約や各種詳細情報は下記のページをご参照ください 【お問合せ先】 劇団ボンボヤージュ！制作部　g.bonvoyage@gmail.com ーーーーーーーーーーーーーーーーーーーーーーーー

AIエージェントをエンタープライズシステムに組み込むプラクティス 【二重トラック検証】 💡 LLMの出力を「信じる」のではなく「検証する」。生成と検証を別トラックに分離することで、ハルシネーションを構造的に捕捉します。 🔥 解決する課題 - 事実と異なる情報がそのまま顧客や経営層に伝わる - 存在しない文書・条項・判例が引用される（捏造引用） - LLMが数値計算を誤り、財務レポートや見積もりに反映される - 出典が示されない根拠なき主張が信頼性を毀損する 🏗️ 提案パターン エージェントの「生成」とは独立した決定論的な検証トラックを設けます。数値検証では信頼ソース（DB/API）から再計算しエージェント出力と突合。引用検証では引用が実在すること、引用箇所が主張と一致することをプログラムで照合します。アクション検証ではパラメータをスキーマ＋ビジネスルールで事前チェック。不一致が検出された場合は棄却・再試行・人間エスカレーションのいずれかで対応します。 ✅ 選定条件 - 向き：数値・事実・引用の正確性が重要な業務（財務・法務・分析・サポート） - 不向き：創造的・主観的な出力で検証基準が定義できない領域 ⚠️ 落とし穴 - 検証器自体の精度が低いと偽陽性が多発し、業務フローが詰まる - 事前検証はレイテンシを増やすため、情報提供のみなら事後検証を検討する - 検証対象を「全出力」にすると処理コストが膨大になるため、リスクに応じた対象選定が重要 🛠️ 実装方針 1. 数値検証では、エージェント出力の数値をSalesforce API等の信頼ソースから再計算するPythonスクリプトを用意し、差分を自動突合します 2. 引用検証（grounding）には、RAGのチャンク検索結果と引用箇所の意味的一致をembedding類似度で照合する仕組みを構築します 3. アクション検証では、出力パラメータをJSONスキーマ＋ビジネスルールエンジン（OPA等）で事前バリデーションします 4. 不一致検出時のハンドリングを「棄却→再試行（最大2回）→人間エスカレーション」のフローとしてTemporalワークフローに組み込みます 5. 検証対象はリスクレベルで選別し、財務・法務は全件検証、情報提供はサンプリング検証とする運用ルールを設定します #AIエージェント# #エンタープライズアーキテクチャ#

AIエージェントをエンタープライズシステムに組み込むプラクティス 【Human-in-the-Loop 承認ゲート】 💡 AIの「最後の砦」は人間です。高リスク操作の前に承認を挟む仕組みがなければ、ハルシネーション1つで取り返しのつかない事態を招きます。 🔥 解決する課題 - ハルシネーション・誤操作による致命的ミスが最終チェックなく実行される - 「誰が承認したか」の証跡がなく説明責任を果たせない - 規制上、人間の関与が義務付けられている操作への対応ができない - 承認対象が広すぎて形骸化し、機械的にクリックするだけになる 🏗️ 提案パターン アクションをリスクスコアリング（金額・影響範囲・可逆性・データ分類）し、閾値を超えたものだけを承認キューへ送ります。承認通知はSlack・メール・専用UIで送信し、承認待ちの間ジョブは中断・永続化されます。承認/却下/修正の結果と承認者情報は監査ログに記録。初期は広めに承認を求め、精度実績が蓄積されたら段階的に自動化率を上げていく（HITL→HOTL→全自動）設計にします。 ✅ 選定条件 - 向き：金銭・契約・顧客接点・人事・本番変更など高リスク操作 - 不向き：低リスク・大量・即時性が命の処理（承認がボトルネック化） ⚠️ 落とし穴 - 全操作を承認対象にすると「承認疲れ」で形骸化する - 承認待ちのジョブ永続化設計を忘れると、タイムアウトでジョブが消失する - 自動化率を上げるタイミングの判断基準（精度実績の閾値）を事前に決めておかないと、いつまでも手動のまま 🛠️ 実装方針 1. リスクスコアリングロジック（金額・影響範囲・可逆性・データ分類）をOPA/Cedarでポリシーとして定義し、承認要否を動的に判定します 2. 承認通知はSlack Bolt（またはTeams Webhook）で実装し、承認/却下ボタン付きのインタラクティブメッセージを送信します 3. 承認待ちジョブの永続化にはTemporalのワークフロー中断機能またはStep Functionsのコールバック待機を使います 4. 承認/却下/修正の全結果を監査ログ（承認者・タイムスタンプ・理由）としてCloudWatch LogsやDatadog等に記録します 5. HITL→HOTL→全自動の移行閾値（例：連続100件の正答率99%超）を事前に定義し、ダッシュボードで進捗を可視化します #AIエージェント# #エンタープライズアーキテクチャ#

気になる内容をTLで見つけたんでChat GPTにまとめてもらった。 ソースは確認したけど、ハルシネーションがあるかもしれないから話半分でお願いします。 ノエルギャラガー、マーティン・バシールによるドキュメンタリー『Living with Michael Jackson』について語る（2003）