【雨の日の読書】 『#ハルシネーションの庭／##村崎なつ生』再読。心に傷を抱えた青年と無邪気なアンドロイド、加害性と罪悪感、白いユリと青いワスレナグサ、やさしいまぼろし。#"村崎み"がぎゅっと詰まった素敵な物語です。「言葉に意味があるんじゃなくて、意味を持つから言葉なんだよ」

LLMのサイズを大きくだけすれば良いわけでもない、むしろ小さい方がハルシネーションが少ないという話。 ・AI研究機関の間で、従来の大規模化路線に対する懐疑的な見方が広がっている ・一般的にモデルの規模が大きいほどAIのベンチマークスコアは高くなる ・しかし、オープンな比較的小型なモデルが、非公開の超巨大モデルのスコアに肉薄している ・これは、モデルのサイズを大きくしても実際の知能の向上がすでに頭打ちになっていることを示す ・巨大なモデルは膨大で事実に基づいたデータを使って学習する ・その結果、巨大なモデルは「分からない」と認めることができず、もっともらしい嘘を生成するハルシネーションの確率が非常に高くなる ・実際のベンチマークテストでは、一部の超巨大モデルのハルシネーション率は80〜90パーセント台に達する ・一方で、比較的小型のモデルはハルシネーション率を20パーセント台にうまく抑え込んでいる ・テストとして意図的に構造的欠陥を含ませた複雑なプログラミングの課題を与えてみた ・すると、モデル間に明確な違いが確認された ・超巨大モデルは約4分もの時間と大量のトークンを消費したにもかかわらず、自信満々に誤った解決策を提示した ・対照的に、半分のサイズの小型モデルはわずか12秒で課題の技術的な矛盾を見抜いた ・超巨大なAIは膨大な計算資源を浪費しながら、論理的な破綻に気づかずに誤答を作り出してしまう ・カタログスペック上では超巨大モデルが優れていても、実社会における正確性や誠実さとは大きな乖離が生じている ・推論にかけるリソースやパラメータ数を盲目的に増やし続ける開発手法はもはや適切ではない ・単にサイズを拡大するだけでは知能が頭打ちになるだけでなく、かえって精度が悪化するケースすら存在する ・消費者にとってもこれは重要 ・モデルの規模や理論上の性能の高さだけで利用するAIを選ぶべきではない ・今後のAIは、純粋な処理能力、ハルシネーションの抑制、そして計算効率という3つの要素のバランスを取ることが課題に

LLMにおけるハルシネーションは、大きく真偽接地問題と汎化の問題から生じていると整理できる。 真偽接地問題とは、生成した命題の真偽を外界の事実とどのように結びつけるかという問題である。なお、真偽接地問題はここで用いる私の造語である。 言語的なもっともらしさと、外界における命題の真偽は異なる。しかし、通常の言語モデルは主として言語分布を学習しており、この二つを直接区別するようには学習されていない。 これと関連する概念として、記号接地問題がある。記号接地問題とは、記号の意味を外界にどのように結びつけるかという問題である。例えば「りんごは赤い」という文の意味は、単なる「りんご」「赤い」という記号同士の関係だけで決まるのではなく、それらが実世界の対象や知覚とどのように対応しているかによって定まる。 これに対して、ここでいう真偽接地問題は、ある命題の真偽を外界の事実にどう結びつけるかという問題である。例えば、ある会社の代表者として無関係な人物を挙げたり、存在しない製品名を生成したりする場合、その出力は単語列としてはもっともらしくても、外界の事実とは対応していない。 概念的には、 p(true | 命題, 外界) を推定できるかどうかの問題と捉えることができる。 もう一つは、汎化、あるいは平滑化の問題である。言語モデルは有限の訓練データから学習するため、訓練中に観測していない系列に対しても適切に確率を割り当て、汎化する必要がある。 従来の言語モデルでも、一度も学習中に観測していない単語列に確率0を与えてしまうことは大きな問題だった。そのため、頻度ディスカウントや平滑化によって、既観測系列に割り当てられた確率の一部を未観測系列へ移していた。 ニューラル言語モデルは、分散表現による汎化によって、この平滑化問題を驚くほど自然に解決した。訓練中に一度も見ていない単語列であっても、その意味や文脈が既知のものと似ていれば、もっともらしい確率を割り当てることができる。 しかし、この強力な汎化能力は、事実を扱う場合には副作用を持つ。正解が一意に定まる事実についても、観測していない誤った候補に確率を与えてしまうからである。汎化する能力そのものが、ハルシネーションの原因にもなりうる。 さらに、この二つの問題は独立というより、相互に関係している。真偽が十分に接地されていないために正しい候補を識別できず、その不確実性の中で平滑化・汎化が働くことで、もっともらしい誤った候補にも確率が乗る。 真偽接地問題については、学習時に言語表現と外界の状態や検証可能な事実との対応を明示的に与えることで、ある程度解決できる可能性がある。 ただし、外界そのものの定義も単純ではない。現実世界だけでなく、あるゲーム世界、ある人物が信じている世界など、命題の真偽は前提とする世界や文脈によって変わりうる。この点まで含めて、どの世界に対する真偽なのかを接地する必要がある。 一方、汎化の問題も本質的にどこまで解決できるかは分からない。未観測例への汎化は、有限データから学習するために不可欠である。そのため、未知の対象にも確率を与えるという性質そのものをなくすことはできない。 必要なのは、汎化に任せる領域と、厳密な制約や構造化された情報によって扱う領域を組み合わせることだろう。 特にロングテールの情報、すなわち学習中に一度から数回しか観測されない事実を扱う場合、汎化だけによって高い網羅性とほぼ完全な正確性を同時に実現することは難しい。この領域では、ある程度の誤りを受け入れるのか、それとも外部知識・検証器を利用して回答範囲を制限するのか、という選択が必要になる。

AIエージェントの回答を「検証可能で説明できる事実」に根拠づける——ナレッジグラフ＋GraphRAG＋エージェントのフルスタックをまるごとオープンソースで提供する基盤です🕸️ タイトル: trustgraph-ai/trustgraph URL: 🕸️ 概要 AIエージェントのためのオープンソースのセマンティック・デプロイメント基盤です。コアは「コンテキストグラフ」（ドメイン知識を構造化しクエリ可能にした表現）。コンテキストグラフ・メモリ・検索・オーケストレーション・推論を、決定論的なエージェント向けにフルスタックで提供します。 ❓ 解決する課題 LLM単体では、なぜその答えになったのかを辿りにくく、ハルシネーションのリスクもあります。 ・エージェントの回答を、検証可能で説明可能な事実に根拠づけるのが難しい ・TrustGraphはナレッジグラフ構築とGraphRAGを組み合わせ、意味的に豊かで検証可能なコンテキストにアクセスできるようにします ・しかも主権的に管理できるプライベート環境で実現します 💡 主な特徴 ・マルチモデルDB（表・KV・ドキュメント・グラフ・ベクトル）とマルチモーダル対応、エンティティ/関係の自動抽出 ・DocumentRAG・GraphRAG・OntologyRAGのパイプラインと、3D GraphVizによる可視化 ・単一/マルチエージェント、ReAct・Plan-then-Execute・Supervisorパターン、MCP統合 ・Context Cores：スキーマ・グラフ・埋め込み・エビデンス・検索ポリシーを束ね、コンテキストをコードのようにバージョン管理 🌍 技術スタック / 使い方 ストレージはCassandra・Qdrant・Garage、メッセージングはPulsar等、LLMはAnthropic/OpenAI/Google等＋ローカル推論（vLLM/Ollama等）に対応。npx @trustgraph/configで構成し、ポート8888のUIから利用できます。Apache 2.0ライセンスです。 #GraphRAG# #ナレッジグラフ#

# AIエージェント開発の意思決定ポイント # オーケストレーション vs コレオグラフィ 🎼 🎯 ポイント 複数のエージェントやサービスを協調させるとき、「指揮者を置くか、各自が自律的に踊るか」を選ぶ必要があります。 オーケストレーションは中央の指揮者がすべてを統制する方式。コレオグラフィは各コンポーネントがイベントに反応して自律的に動く方式。制御の所在が根本的に異なるため、障害処理・監査・デバッグ・スケーリングの設計が全く変わります。 📋 概要 オーケストレーションでは中央のオーケストレータが全体のワークフローを定義し、各コンポーネントを順次または並列に呼び出し、結果を集約して次のステップを決定します。Temporal、Airflow、LangGraphのSupervisorパターンなどが典型的な実装基盤です。コレオグラフィでは各コンポーネントがイベントバス（Kafka、EventBridge等）上のイベントを購読し、関心のあるイベントに自律的に反応して新たなイベントを発行します。全体の制御フローを知る中央は存在しません。 🔍 意思決定のポイント 判定の主軸は **説明責任（accountability）** です。 🏛️ **オーケストレーションに倒す条件**: - 処理の全体像と各ステップの判断根拠を事後に説明する必要がある - 審査→承認→実行のような厳密な順序制約がある - LLMの出力を次のステップに渡す前に検証・変換が必要 - 全体の予算（トークン・時間・コスト）を中央で管理したい - コンポーネント数が概ね10以下 🌊 **コレオグラフィに倒す条件**: - 高スループット・高スケールが求められ、中央がボトルネックになる - 多数のチームが独立してコンポーネントを開発・デプロイしている - イベントへの「反応」が主な処理パターン（通知、ログ、非同期集計） - 実行順序の厳密な追跡が不要 💡 要点と詳細 🟢 **オーケストレーションの強み**は制御の明確さと監査性です。ワークフローの全体像が1箇所に定義されているため「今どこまで進んでいるか」「なぜこのステップが実行されたか」が常に明らかです。障害時のリカバリもどのステップで失敗したかを特定して再開できます。エージェント固有の利点として、LLMの出力を検証してから次ステップに進められるため、ハルシネーションの伝播を各ステップで遮断できます。 🟡 **コレオグラフィの強み**は疎結合とスケーラビリティです。各コンポーネントはイベントスキーマだけを共有し、他の存在を知りません。新コンポーネントの追加はイベント購読の追加だけで、既存コンポーネントに変更不要です。独立スケールも可能で、イベントバスがバッファとして一時的な負荷偏りを吸収します。 ⚖️ トレードオフ | 観点 | オーケストレーション | コレオグラフィ | |---|---|---| | 全体状態の可視性 | 常に明確 🟢 | イベントログの突合が必要 🔴 | | 監査性 | 高い（因果関係を示せる） | 低い（分散した追跡が必要） | | スケーラビリティ | 中央がボトルネック | 各コンポーネントが独立スケール | | 結合度 | 高い（中央への変更が集中） | 低い（スキーマ共有のみ） | | ハルシネーション制御 | ステップごとに検証可 | 各自でガードレールが必要 | | チーム独立性 | オーケストレータ変更で衝突 | 独立開発・デプロイ可 | 🛠️ ユースケース 🔵 **オーケストレーションが向くケース**: 業務系システム、規制対象の処理、審査・承認ワークフロー、LLMの出力検証が必要な処理。説明責任が求められる環境。 🔴 **コレオグラフィが向くケース**: 高スループットのイベント駆動処理、通知・ログ集約・分析パイプライン。多数のチームが独立してコンポーネントを開発する大規模システム。 📌 **デフォルト戦略**: 業務系システムではオーケストレーション（中央集権）がデフォルトです。AIエージェントを含むシステムでは、LLMの確率的な出力を制御・検証する中央の存在が安全性と監査性の両面で重要です。実用的な折衷は「中核は中央集権、周辺探索はイベント駆動」で、主要な業務フローはオーケストレータが管理し、周辺の非同期処理はイベント駆動で疎結合に構成する形です。 #AIエージェント# #ソフトウェアアーキテクチャ#

# AIエージェント開発の意思決定ポイント 🎯 **ポイント** AIエージェントに「何でも覚えさせる」のは本当に良いことでしょうか？メモリ書込の積極度は、エージェントの賢さと安全性を左右する最も繊細なダイヤルの一つです。書き込みすぎればメモリ汚染、書き込まなさすぎれば学習しないエージェント。この絶妙なバランスをどう取るか、実務の視点で掘り下げます。 📋 **概要** メモリ書込の積極度とは、エージェントが対話やタスク遂行の過程で得た情報を長期メモリにどれだけ積極的に保存するかを制御するパラメータです。データベースへのINSERTと同じ重みで考えるべき、準不可逆的な操作です。LLMが生成した推測やユーザーの曖昧な発言を安易に書き込むと、以後のすべてのセッションで「過去に記録された事実」として参照され、誤りが自己強化するループ、すなわちメモリ汚染に陥ります。 🔍 **意思決定のポイント** この設定は主に2つの変数で決まります。 🔹 **入力の信頼度（input_trust）** — エンドユーザーの自由入力が主なソースなら、インジェクションや誤情報のリスクが高いため書込ゲートの閾値を上げます。管理者が入力を管理している環境なら、ある程度積極的に書き込めます。 🔹 **失敗コスト（failure_cost）** — 医療・法務・金融では、誤った事実の永続化が深刻な結果を招きます。社内チャットボットなら、多少の誤記憶は修正すれば済みます。失敗コストが高いほど書込を抑制するのが鉄則です。 🔹 **説明責任（accountability）** — 「なぜこの情報をメモリに保存したか」を後から説明できる必要がある場合、出典と確信度を記録する設計が必須になります。 💡 **要点と詳細** 書込の判定基準は3段階で考えるのが実践的です。 ✅ **自動書込可** — ユーザーが直接的かつ明示的に述べた事実（「私の名前は山田です」「Pythonを使っています」） ⚠️ **確認後に書込** — ユーザーの発言から推測される情報（「Python好みのようですね」→ユーザーに確認してから保存） 🚫 **書込禁止** — LLMが生成した推測、外部ソースからの未検証情報、一時的な文脈 メモリエントリには確信度（confidence）タグを付与し、検索時に確信度の低いエントリはランキングを下げるのが効果的です。これにより書込を完全に禁止しなくてもメモリ汚染の影響を限定できます。重複検出も書込パイプラインに必ず組み込みましょう。コサイン類似度0.90〜0.95で既存エントリとの重複をチェックし、同一エンティティの同一属性は最新値で上書きするのが原則です。 ⚖️ **トレードオフ** 📉 書込が消極的すぎると — エージェントが学習しません。ユーザーが繰り返し伝えた好みを記憶せず毎回デフォルトに戻り、「また同じことを聞かれた」という不満を生みます。パーソナライゼーションの欠如は、長期的な関係構築が必要なユースケースで致命的です。 📈 書込が積極的すぎると — ハルシネーションの永続化が最大のリスクです。「おそらくAさんは東京在住でしょう」という推測が「Aさんは東京在住」として保存され、以後のセッションで確定事実として扱われます。さらに深刻なのがプロンプトインジェクションの持続化で、通常は1セッション限りの攻撃がメモリに永続化されると「持続型インジェクション」になります。 🛠️ **ユースケース** 🏥 **医療・法務・金融** — 失敗コストが極めて高い領域。書込は最小限に抑え、明示的に確認された事実のみを記録。出典と確信度の追跡は必須。 💬 **カスタマーサポート** — ユーザーの好みや過去の問い合わせ履歴を蓄積する必要があるが、自由入力のリスクも高い。反復確認された情報（2回以上の一致）のみ自動永続化し、暗黙的な好みは隔離期間を設けてから昇格させる設計が有効。 🏢 **社内ナレッジボット** — 組織の暗黙知（「このAPIはこのパラメータを渡すと壊れる」）を蓄積したい。管理者入力が主なら比較的積極的に書き込めるが、定期的な「メモリの棚卸し」でユーザーに保存情報を提示して確認を得る運用を組み込むと品質が保たれます。 書込ログの監査可能性も忘れずに。いつ・何が・どのソースから書き込まれたかを追跡できれば、メモリ汚染が発覚した場合に原因特定と修正が可能になります。 #AIエージェント# #ソフトウェアアーキテクチャ#

# AIエージェントをソフトウェアに組み込むプラクティス # 階層化メモリ 🎯 「全部コンテキストに詰め込む」設計は、ウィンドウ溢れとハルシネーションの永続化を同時に引き起こします。 メモリを3層に分けるだけで、コンテキスト効率と記憶の信頼性を両立できます。 🔥 解決する課題 エージェントが複数ターンに跨がるタスクを扱うとき、すべての情報をコンテキストウィンドウに詰め込む「フラット記憶」では2つの問題が同時に起きます。会話履歴・ユーザ属性・中間結果・外部知識が混在するとウィンドウが溢れ、古い情報から押し出されて文脈が断絶します。さらにLLMが生成した推測をそのまま永続化すると、ハルシネーションが長期記憶に定着し、以降のセッションを汚染し続けます。 💡 提案パターン メモリを作業記憶（ターン内の中間状態）・短期記憶（セッションストア、TTL付き）・長期記憶（ベクトルDB/KVS）の3層に分離します。作業記憶は自由に読み書きし、コンテキストリセットで消えます。短期記憶には信頼度タグを付与し、ユーザ発話由来は高信頼、LLM推測由来は低信頼とマークします。長期記憶への昇格には反復確認やユーザ承認を要求し、ハルシネーションの永続化を防ぎます。failure_costが高い領域ほど昇格閾値を厳しくし、TTLを長めにとって安全側に寄せます。 ✅ 選定条件 使うとき： - 複数セッションにわたって情報を引き継ぐ必要がある - 中間結果の量がコンテキストウィンドウの30%を超える見込みがある - 確定事実と推測の区別が必要で、誤った記憶の波及影響が大きい 使わないとき： - 1ショットで完結しセッション間の引継ぎが不要な場合 - コンテキストウィンドウに全情報が収まる場合 - メモリの書込制御だけが課題で、階層分離自体は不要な場合 ⚠️ 落とし穴 - 作業記憶と短期記憶の境界が曖昧になりがちです。外部ストアへの書込を境界線にし、LLMの内部状態に頼らないでください - 長期記憶のエントリ数が増えると無関係な記憶がコンテキストに混入し、ハルシネーションの原因になります - マルチエージェント構成で各Workerが直接長期記憶に書き込むと整合性が崩れます。長期記憶はSupervisorが一元管理しましょう 🔧 実装方針 - 作業記憶（dict/インメモリ）・短期記憶（Redis等TTL付きセッションストア）・長期記憶（ベクトルDB）の3層を明確に分離し、外部ストアへの書込を境界線とします - recall時はコンテキスト予算内で3層から関連情報を想起し、関連度と信頼度でランク付けして注入量を制御します - 短期→長期への昇格には信頼度スコアの閾値チェックと承認状態の検査を設け、未検証情報の永続化を防ぎます - 記憶種別ごとにTTLを設計し（リアルタイムデータは分単位、ユーザ嗜好は週単位、不変属性は無期限）、failure_costが高いほど短めに設定します #AIエージェント# #ソフトウェアアーキテクチャ#

Opus4.8のハルシネーション混入してバグり出すの何とかしてほしい。Sonnetの方が素直でちゃんとこなすくらい残念。 ハマったらちゃんと動くので難しい行ことはDynamicでの実行が必須な感じがする

各都市の生活コストとQoLのグラフが面白かったので、新しい軸を追加してみました。 1枚目：元のグラフ 2枚目：各都市の人口を円の大きさで表現。濃い色が市域人口、薄い色が都市圏人口。 2枚目のグラフはChatGPTに1枚目のグラフを画像認識させて作らせてます。都市の位置が元のグラフと少しズレてるのとか、少々のハルシネーションは大目に見てください。 しかし東京デカいな。

🩺 健康相談でAIに一番求められるのは「正確さ」と「安全さ」。GPT-5は自傷・自殺に関する難しい会話で、望ましくない回答をGPT-4o比で52%も減らしました。 📰 タイトル: Improving health intelligence in ChatGPT 🔗 URL: 💡 概要 OpenAIが、ChatGPTの健康関連の応答能力を高める取り組みを公開しました。GPT-5を「これまでで最も健康の質問に強いモデル」と位置づけ、医師が定義した基準で評価するベンチマークHealthBenchで大きくスコアを伸ばしています。 🔍 解決する課題 健康の回答は誤りが利用者の安全に直結します。もっともらしい誤答（ハルシネーション）や緊急性の見落としは重大なリスクで、正確性・明確さ・適切な受診勧奨をどう担保するかが課題でした。 🛠 方法論と提案手法 ・現実的なシナリオと医師定義の基準で採点するHealthBenchで評価 ・難しい事例は2名以上の医師が検証するHealthBench Consensusを用意 ・60か国で診療経験を持つ医師・心理職 約300名のGlobal Physician Networkを構築し安全性研究に反映 ・アドバイザーが現実の利用を反映したモデル応答を70万件以上レビュー 📊 ユースケース / 実験結果 ・自傷・自殺の困難な会話で望ましくない回答をGPT-4o比52%削減 ・困難な会話のハルシネーションをo3からgpt-5-thinkingで8倍削減 ・緊急性が高い状況での誤りをGPT-4o比50倍以上削減 症状や検査結果の理解、受診タイミングの判断、適切なフォローアップ勧奨など、自分の健康に主体的に向き合う支援に使えます。 #ChatGPT# #ヘルスケアAI#