登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 メモリアーキテクチャ
メモリアーキテクチャ コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
メモリアーキテクチャ を含む検索結果
エージェントのメモリ管理、毎回LLMに聞きに行っていませんか?その無駄を「速い脳」と「遅い脳」で切り分けた研究です。 タイトル: Jev-Mem: System-One-Controlled Agentic Memory for Efficient AI Agents URL: 人間の二重過程理論(System One / System Two)にヒントを得て、メモリ操作の大半を軽量な構造化判断で処理し、複雑な推論だけをLLMに残すアーキテクチャです。注目ポイントを3つ紹介します。 🧠 System-Oneによる型付き制御 種別判定・関係判定・クエリルーティングといった頻出操作を、自由形式のテキストではなく確率やラベルを返す軽量インターフェースで処理。メモリ構築と検索の両方を同じ仕組みで統治します。 🕸️ 4種の関係を持つマルチリレーショナルグラフ 意味・時間・因果・エンティティという4つの視点でメモリをグラフ化し、クエリごとに関連度の高いビューへ予算を配分して探索することで、無駄な探索を避けます。 📊 精度と速度の同時改善 LoCoMoベンチマークで総合スコア0.777とベースライン比11%向上。メモリ構築は158秒で最速ベースライン比6.6倍高速、クエリ応答も0.93秒で36.7%短縮しました。 制御と推論を分離するという発想が、精度と効率を両立させた点に意義を感じます。 #AIエージェント# #メモリアーキテクチャ#
もっと見る
# AIエージェントをエンタープライズシステムに組み込む意思決定ポイント # 集中 vs 連合メモリ|エージェントの記憶をどこに持つか 🎯 ポイント エージェントの記憶(ユーザープロファイル、対話履歴、学習データ)を「1箇所に全部集める」か「各データソースに分散させたまま」にするか。これは単なる技術選択ではなく、データ主権・越境規制・パーソナライズの質に直結する設計判断です。特にグローバル展開するエンタープライズでは、GDPRや中国データセキュリティ法への対応が設計を大きく左右します🔑 📋 概要 集中メモリは全エージェントが同一の中央ストアを参照する構成で、複数チャネルを横断した一貫したパーソナライズが実現できます。Slackでの会話履歴をSalesforceのエージェントでも活用するようなケースです。連合メモリは各データソースにデータを分散保持し、エージェントが必要なときだけ参照する構成で、データ主権や越境転送規制への準拠が容易です。どちらにも長所と限界があり、多くのエンタープライズではメタデータは集中・本体は連合というハイブリッド構成に落ち着きます📊 🔍 意思決定のポイント 判断の最重要軸は「データの越境転送規制」です。 対象データにGDPR、中国データセキュリティ法等の越境転送規制が適用される場合、連合メモリが前提です。データを元のシステムから移動できない以上、集中は選択肢になりません。 複数システムを横断した一貫したパーソナライズが必要な場合は、集中を検討しましょう。顧客の解約意思を全エージェントが即座に反映するような強整合が求められるケースです。 各データソースのアクセス権限モデルが統一できない場合は、連合で各ソースの権限を尊重しましょう。統合すると最小権限の原則に違反するリスクがあります。 データ量と更新頻度から中央への同期コストが許容範囲を超える場合は、連合にキャッシュ層を追加する構成を検討してください⚡ 💡 要点と詳細 ハイブリッド構成の3つのアプローチを理解しておくことが重要です: メタデータは集中、本体は連合 — ユーザーの識別子・最終アクセス日・嗜好サマリなど軽量なメタデータは中央に持ち、詳細データ(対話ログ本文、添付ファイル)は各ソースに残します。集中の利便性と連合のデータ主権準拠を両立する、最も一般的なパターンです。 キャッシュ層による仮想集中 — 各ソースからリアルタイムにフェッチした結果を短期キャッシュに統合し、リクエスト単位で疑似的な集中ビューを構築します。データの永続的な複製を避けられるため、GDPRの忘れられる権利への対応も容易です。 コンテキストブローカー — エージェントのリクエスト時に必要なデータを各ソースから収集・結合するブローカーを配置します。集中ストアを持たずに横断的な文脈を提供できますが、レイテンシとソース障害時のフォールバック設計が課題です🔄 ⚖️ トレードオフ 集中ストアに全データを複製すると、ストレージコストが膨らむだけでなく元データとの同期遅延が発生します。Salesforceで顧客情報を更新したのに集中メモリには反映されていない — この不整合はエージェントの信頼性を根本的に損ないます。さらに、削除権(忘れられる権利)への対応も複雑化します。集中メモリにコピーしたデータの削除が元ソースの削除と連動しないと、GDPRリスクになります😰 一方、連合のまま横断クエリを強行すると、各ソースへのリアルタイムクエリが多段になり、レイテンシが5秒を超えてユーザー体験が劣化します。ソース障害時にエージェントがエラーを返す問題もあり、キャッシュからの応答と鮮度警告を組み合わせたフォールバック設計が不可欠です。 最も危険な失敗は、データ分類の欠如です。どのデータが集中可能でどのデータが越境不可かを事前に分類せず、コンプライアンス違反が本番で発覚するケースは珍しくありません⚠️ 🛠️ ユースケース グローバル顧客対応エージェント(Salesforce/Zendesk連携):EU顧客のデータはEUリージョンのZendeskに、日本の顧客データは日本のSalesforceに連合保持。メタデータ(顧客ID、最終対応日、嗜好サマリ)のみ中央のCDPに集約し、全エージェントが一貫した顧客理解を共有。詳細データは必要時に各ソースからフェッチします📚 社内ナレッジエージェント(ServiceNow/Workday/Confluence連携):ServiceNowのインシデント履歴はIT部門管轄、Workdayの人事データはHR部門管轄として、それぞれのソースがアクセス権限を制御。コンテキストブローカーがリクエスト時に必要なデータを各ソースから収集・結合し、横断的な回答を生成します🏢 顧客360エージェント(Salesforce CDP連携):全社統一の顧客プロファイルストアを中心に、全エージェントが同一の顧客理解を共有。解約意思や重要クレームなどの状態変更は強整合で即座に反映。データが単一リージョンに収まるドメスティック運用に向いています🔧 実践のコツ:まずデータ分類ポリシーを策定してください。「集中可能」「越境不可」「アクセス制限あり」の3カテゴリでデータを仕分けし、その分類に基づいてメモリアーキテクチャを選定するのが正しい順序です。技術選定からではなく、コンプライアンス要件から設計を始めましょう💪 #AIエージェント# #エンタープライズアーキテクチャ#
もっと見る
# AIエージェントをソフトウェアに組み込むプラクティス # メモリ書込ゲート 🎯 LLMの推測がそのまま長期メモリに入り、次のセッションで「事実」として参照される。メモリ汚染は沈黙のうちに蓄積します。 長期メモリへの書込にバリデーションを設けるのは、DBへの入力検証と同じ原則です。 🔥 解決する課題 長期メモリへの書込は「一度入ったら長く残る」不可逆に近い操作です。書込ゲートがなければ3つの問題が連鎖します。エージェントが生成した誤情報がそのまま保存されハルシネーションが自己強化する。外部入力に埋め込まれた悪意ある指示がメモリに書き込まれ、将来のセッションまで攻撃が持続する。同じ事実が微妙に異なる表現で何度も保存され、検索時に矛盾が返って応答品質が劣化する。メモリ汚染はログにエラーを残さないため、発見が特に遅れます。 💡 提案パターン 長期メモリへの書込を無条件に許可せず、信頼度スコアリング・重複検出・PII/機微情報フィルタ・ソース検証のゲートを設けます。ユーザが直接述べた事実は自動書込、推測や未検証情報は隔離領域に留め置き、人間または上位エージェントの承認を待ちます。重複検出ではコサイン類似度0.90〜0.95を閾値とし、同一エンティティ×同一属性なら上書きします。input_trustが低いほど信頼度閾値を上げ、failure_costが高い領域ではさらに厳格にします。 ✅ 選定条件 使うとき: - セッションを跨いで持続する長期メモリを持つ - エンドユーザの自由入力や外部ドキュメントからメモリ候補を抽出する - 誤った記憶が金銭的判断・医療助言・法的回答など後続の意思決定に影響する 使わないとき: - メモリがセッション内スクラッチパッドのみで、セッション終了時に破棄される場合 - メモリが完全に管理者管理でエージェントは読取専用の場合 ⚠️ 落とし穴 - 隔離領域は承認フローが回らないと肥大化します。TTL(7〜30日)を設け未承認は自動破棄してください - エンベディングの類似度だけでは「同じ人物の異なる属性」と「同一属性の更新」を区別できません。構造化メタデータを併用しましょう - メモリストアへの直接書込パスが残っていると、ゲートが完全に無意味になります 🔧 実装方針 - 書込ゲートを重複検出→信頼度スコアリング→PII/機微情報フィルタの3段パイプラインとして構成し、全書込を必ずこのゲートを経由させます - 信頼度スコアリングではソース(ユーザ直接/エージェント推論/外部文書)とグラウンディング(引用あり/なし)の組み合わせで分類し、閾値未満は隔離領域に留め置きます - 重複検出ではコサイン類似度に加えてエンティティID×属性キーの構造化メタデータを併用し、更新と新規を正確に区別します - 隔離領域にはTTLを設けて未承認エントリを自動破棄し、メモリストアへの直接書込APIはアーキテクチャ制約として禁止します #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
💾 大規模ベクトル検索、もうメモリに全部乗せなくていい時代に。 📰 タイトル: HFresh: Memory-Efficient Vector Search 🔗 URL: Weaviateが、ディスクベースの新しいベクトルインデックス「HFresh」を発表しました。数十億件規模のベクトルを、限られたメモリで検索できるように設計されています。 注目ポイント 🧩 パーティション型アーキテクチャ HNSWのように全ベクトルをグラフで結ぶのではなく、小さな「postings」という領域に分割。インメモリのセントロイドHNSWで候補領域を絞り込み、該当するpostingsだけディスクから読み出して検索します。 📦 2段階の量子化戦略 セントロイドにはRQ8を使いメモリを約4分の1に圧縮しつつルーティング精度を維持。postingsにはRQ1を使い32bit floatと比べて最大32倍圧縮し、ディスクI/Oとストレージコストを削減します。 🔄 リビルド不要のバックグラウンド保守 Split・Merge・ReassignというLIRE由来の仕組みで、インデックス全体を作り直すことなく継続的に品質を維持します。 DBpediaの100万件データセットではヒープ使用量239MBと、非圧縮HNSWの6.67GBの約28分の1に抑制。10億件・256次元のベクトルでも動作を実証しており、メモリ制約のある環境や大規模スケールに最適な選択肢です。 #VectorSearch# #Weaviate#
もっと見る
AIエージェントをエンタープライズシステムに組み込むプラクティス 【階層化メモリ -- 4層メモリとコンテキスト・ブローカー】 💡 毎回ゼロから始まるAIエージェントは、何度も同じ質問をする新入社員と同じです。記憶を4層に分離し、「いま本当に必要な情報だけ」を動的に組み立てる仕組みが、実用レベルのエージェントを作ります。 🔥 解決する課題 - セッション跨ぎの文脈喪失:セッション間・エージェント間で文脈が失われ毎回やり直しになる - 文脈窓の有限性:全履歴を詰め込むとコスト・精度が劣化する - 記憶肥大:無制限な蓄積でコスト・プライバシーリスク・文脈汚染が増大する - Lost in the middle:大量コンテキスト投入でかえって回答精度が下がる 🏗️ 提案パターン メモリを4層に分離します。ワーキング(現セッション・揮発)、エピソード(過去要約・ユーザー単位)、セマンティック(RAG対象の知識)、組織知識(人・部署・関係の知識グラフ)。各層に適切な保存先・TTL・ACLを設定します。コンテキスト・ブローカーがユーザーの意図に応じて各層から情報を取得し、トークン予算内で優先度付け・要約・圧縮を行い、最も関連の高い情報だけでコンテキストを組み立てます。 ✅ 選定条件 - 採用する場合:セッション跨ぎ・エージェント跨ぎで文脈を引き継ぐ継続支援型エージェント - 採用しない場合:一発完結のステートレスタスク、固定の少量コンテキストで足りる用途 ⚠️ 落とし穴 - エピソードメモリの肥大化:生ログではなく要約を残し、重要度スコア + TTL + 時間減衰で制御します - コンテキストブローカーの品質:リランキングの精度が低いと不要情報が混入し、精度が劣化します - ACLの層間整合:メモリ層ごとにACLが異なる場合、集約時に最も厳しい権限に縮退させる設計が必要です 🛠️ 実装方針 1. ベクタDB(Pinecone / Weaviate / pgvector)をセマンティックメモリ層に、Neo4jを組織知識グラフ層に配置し、各層に保存先・TTL・ACLを設定します 2. エピソードメモリは生ログではなく要約パイプラインを通し、重要度スコア+時間減衰で自動的に忘却・圧縮する仕組みを実装します 3. コンテキスト・ブローカーをリランキング(Cohere Rerank / cross-encoder)で構築し、ユーザーの意図に応じてトークン予算(目安8,000トークン)内で最も関連の高い情報を動的に組み立てます 4. Mem0 / Zepなどのメモリ管理フレームワークを活用し、セッション跨ぎ・エージェント跨ぎのデータ引き継ぎを実装します 5. 各メモリ層にACLタグを付与し、集約時にコンテキスト・ファイアウォール(P10)と連携して最も厳しい権限に縮退させます #AIエージェント# #エンタープライズアーキテクチャ#
もっと見る
# AIエージェントをソフトウェアに組み込むプラクティス # 階層化メモリ 🎯 「全部コンテキストに詰め込む」設計は、ウィンドウ溢れとハルシネーションの永続化を同時に引き起こします。 メモリを3層に分けるだけで、コンテキスト効率と記憶の信頼性を両立できます。 🔥 解決する課題 エージェントが複数ターンに跨がるタスクを扱うとき、すべての情報をコンテキストウィンドウに詰め込む「フラット記憶」では2つの問題が同時に起きます。会話履歴・ユーザ属性・中間結果・外部知識が混在するとウィンドウが溢れ、古い情報から押し出されて文脈が断絶します。さらにLLMが生成した推測をそのまま永続化すると、ハルシネーションが長期記憶に定着し、以降のセッションを汚染し続けます。 💡 提案パターン メモリを作業記憶(ターン内の中間状態)・短期記憶(セッションストア、TTL付き)・長期記憶(ベクトルDB/KVS)の3層に分離します。作業記憶は自由に読み書きし、コンテキストリセットで消えます。短期記憶には信頼度タグを付与し、ユーザ発話由来は高信頼、LLM推測由来は低信頼とマークします。長期記憶への昇格には反復確認やユーザ承認を要求し、ハルシネーションの永続化を防ぎます。failure_costが高い領域ほど昇格閾値を厳しくし、TTLを長めにとって安全側に寄せます。 ✅ 選定条件 使うとき: - 複数セッションにわたって情報を引き継ぐ必要がある - 中間結果の量がコンテキストウィンドウの30%を超える見込みがある - 確定事実と推測の区別が必要で、誤った記憶の波及影響が大きい 使わないとき: - 1ショットで完結しセッション間の引継ぎが不要な場合 - コンテキストウィンドウに全情報が収まる場合 - メモリの書込制御だけが課題で、階層分離自体は不要な場合 ⚠️ 落とし穴 - 作業記憶と短期記憶の境界が曖昧になりがちです。外部ストアへの書込を境界線にし、LLMの内部状態に頼らないでください - 長期記憶のエントリ数が増えると無関係な記憶がコンテキストに混入し、ハルシネーションの原因になります - マルチエージェント構成で各Workerが直接長期記憶に書き込むと整合性が崩れます。長期記憶はSupervisorが一元管理しましょう 🔧 実装方針 - 作業記憶(dict/インメモリ)・短期記憶(Redis等TTL付きセッションストア)・長期記憶(ベクトルDB)の3層を明確に分離し、外部ストアへの書込を境界線とします - recall時はコンテキスト予算内で3層から関連情報を想起し、関連度と信頼度でランク付けして注入量を制御します - 短期→長期への昇格には信頼度スコアの閾値チェックと承認状態の検査を設け、未検証情報の永続化を防ぎます - 記憶種別ごとにTTLを設計し(リアルタイムデータは分単位、ユーザ嗜好は週単位、不変属性は無期限)、failure_costが高いほど短めに設定します #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
🏛 要件仕様書を入れると、4+1ビューのアーキテクチャ図から本番品質のドキュメント、ATAM相当の評価レポートまで自動生成。4つの専門エージェントが要件と設計の橋渡しをします。 タイトル: Bridging Requirements and Architecture: Multi-Agent Orchestration with External Knowledge and Hierarchical Memory URL: 📝 概要 MAADは、ソフトウェア要件仕様(SRS)からアーキテクチャ設計までを、役割特化の4エージェントでオーケストレーションするフレームワークです。外部知識(RAG)と3層の階層メモリで、一貫性とトレーサビリティを担保します。 ❓ 解決する課題 アーキテクチャ設計は複雑で知識集約的なため、アーキテクトに大きく依存していました。単一LLMは出力が一貫せず要件カバレッジが不完全で、既存のマルチエージェントもアーキ固有のワークフローや知識統合を欠いていました。 💡 方法論と提案手法 ・Analystが要件(FR/NFR/ASR)を抽出し、Modelerが4+1ビューのUML図へ、Designerが本番品質ドキュメントへ変換します ・EvaluatorがトレーサビリティとATAMベースの分析で各段に品質ゲートを設けます ・ISO/IEC/IEEE 42010などの標準や定番書籍をベクトルDBに埋め込み、クエリごとに上位3件を参照します ・作業記憶・エピソード記憶・意味記憶の3層メモリで、反復的な洗練と知識再利用を支えます 🎯 ユースケース 要件からの素早いアーキテクチャ設計、要件変更に追従する一貫性維持、暗黙知に頼らない知識移転、自動検証によるレビュー負荷削減などに使えます。 📊 実験結果 ・実世界のSRS 10件で、MetaGPTより完全・モジュール性が高く・トレーサブルなアーキテクチャを生成 ・結合度や凝集度など7つのアーキテクチャ指標で評価し、Evaluatorが品質レポートを自動生成 ・評価LLMではGPT-5.2とQwen3.5が多くの設定で他を上回りました ・現役アーキテクト6名が「原則に整合し実開発に適する」と評価しました #SoftwareArchitecture# #AIエージェント#
もっと見る
良い写真ですね キオクシア、メモリプーリングのCXLモジュールサンプル出荷 【ニュース】キオクシア、近々CXLモジュールのサンプル出荷を開始か、NVIDIA CMXとの強固な関係を再確認 AIワークロードがますます多くのメモリを必要とするにつれ、DRAMの物理的な容量の限界がボトルネックになりつつある。EE Times Japanによると、日本のNAND大手は9月3日のブリーフィングで、同社のCXLメモリモジュールが従来の方式と比較してレイテンシを90%以上削減しながら使用可能なメモリ容量を拡大する方法を詳しく説明した。 EE Times Japanによると、キオクシアは間もなくCXLメモリモジュールのサンプル出荷を開始する予定だという。 キオクシアのメモリ事業部でメモリ応用技術責任者を務める松寺勝樹氏の言葉を引用し、同レポートはさらに、シミュレーションの結果、DRAMの3分の1をCXLメモリモジュールに置き換えることで、性能低下を5%未満に抑えられることが示されたと指摘している。また、同じコストでDRAMの一部をCXLメモリモジュールに置き換えることで、容量を2倍にしながら性能を1.3倍に向上させることも可能だと付け加えている。 CXLがギャップを埋める方法 報告書が指摘するように、AIはDRAMの需要を大きく押し上げているが、DRAMの容量には限りがあるため、データ量の増加に伴いシステム内でメモリを拡張することは困難である。NANDフラッシュははるかに大きな容量を提供するが、レイテンシが高く書き込み耐久性が低いというトレードオフがあり、メインメモリにおけるDRAMの直接的な代替品としては不向きである。 松寺氏によると、実際のアクセスパターンは80対20の比率で、メモリアクセスの約80%はデータのわずか20%にアクセスし、残りのデータへのアクセス頻度ははるかに低いという。キオクシアのアプローチはこのギャップを利用し、80%のデータをフラッシュメモリに保存する。フラッシュメモリはDRAMと同様にメモリとして直接アクセスできるため、パフォーマンスを犠牲にすることなく容量の制約を緩和できる。 しかし、フラッシュメモリ特有のレイテンシーは依然として課題だった。このギャップを埋めるため、キオクシアはレイテンシー低減機能を備えた専用コントローラを開発した。EE Times Japanによると、XL-FLASHと組み合わせたCXLメモリモジュールは、従来の方式と比較してレイテンシーを90%以上削減できるという。 キオクシアはCXL以外にも、主力製品であるBiCS Flashのロードマップを更新した。同社は7月から岩手県北上工場で第10世代BiCS FLASH 3Dフラッシュメモリの量産を開始し、同時に1Tb TLC製品のサンプル出荷も開始した。EE Times Japanによると、新世代は第8世代と比較してビット密度が59%向上、読み出し電力効率が40%向上、書き込み電力効率が30%向上している。 CMXとNVIDIAのコラボレーションに注目 特筆すべきは、BigGo Financeが、キオクシアとNVIDIAがCMX(Context Memory Storage)に関して協力していると報じている点である。CMXは、NVIDIAが3月に発表した新しいストレージ層で、BlueField-4データ処理ユニットを中心に構築されており、長文コンテキストの会話型およびエージェント型AI推論のためのGPUメモリを拡張することを目的としている。 その協力関係は既に成果を上げており、キオクシアは7月にCM10シリーズを発表した。これは、第10世代BiCS FLASH TLCを搭載し、NVIDIA CMXアーキテクチャをサポートするように設計された最新のエンタープライズ向けSSDで、前世代に比べてパフォーマンスと電力効率が大幅に向上している。 キオクシア初のPCIe 6.0エンタープライズSSDであるCM10シリーズは、直接冷却プレート式液冷にも対応しており、次世代AIインフラストラクチャの冷却において、より高い柔軟性と効率性を提供すると、同レポートは付け加えている。 報道によると、SSD事業部技術企画部長の浜田誠氏は、市場の巨大な潜在力を考えると競争は避けられないとしながらも、キオクシアはNVIDIAと緊密に連携し、主要幹部と定期的に連絡を取り合っていると述べた。「我々は後れを取っているとは感じていない」と浜田氏は述べ、キオクシアはAI PCや物理AIにおける新たなストレージニーズにも注目していると、同報道は示唆している。 SeDailyが指摘するように、サムスンもこの市場における重要なプレーヤーとなる可能性がある。韓国のメモリ大手であるサムスンは、NVIDIAの次世代ストレージアーキテクチャであるCMX(今年後半に発売予定)に後押しされ、V9 NANDの生産能力拡大を加速させていると報じられている。 SeDailyによると、NVIDIAのCMXは576個のSSDを搭載し、総容量は9,600TBに達する一方、同アーキテクチャ向けのNANDフラッシュメモリの需要は、今年の3,500万TBから来年には1億TB以上に急増すると予測されている。サムスンのNANDフラッシュメモリの生産量は今年約2億5,000万TBに達すると見込まれており、同社は巨大な生産能力を駆使して、成長著しいCMX市場でより大きなシェアを獲得しようとしている、と同レポートは付け加えている。
もっと見る
🚀 100万トークンのコンテキストを扱いながら、KVキャッシュを従来の4分の1まで絞り込んだモデルが登場しました。DeepSeekの新作です。 タイトル: DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression URL: 💡 概要 552Bパラメータのマルチモーダルなミクスチャー・オブ・エキスパート(MoE)モデルで、長時間稼働するエージェント向けの「入力ヘビー」なワークロードを見据え、アーキテクチャと精度の両面からKVキャッシュを徹底的に圧縮しています。 🎯 解決する課題 長いコンテキストを扱うエージェントでは、プレフィル計算だけでなく、永続的なKVキャッシュがGPUメモリ・SSD・I/O帯域幅を圧迫し、デプロイコストの主なボトルネックになっていました。 🛠 方法論と提案手法 前半20層をエンコーダ、後半20層をデコーダとするCausal Encoder-Decoder構造でプレフィル計算量を半減。3モードで層間KVを再利用するCompressed Sparse Attention 2、候補プールに絞った階層型疎インデクサ、FP4量子化などを組み合わせています。 📊 実験結果 グローバルKVフットプリントは1トークンあたり890バイトでV4-Flashの約4分の1、永続KVは約8分の1に削減。コンテキストを4Kから100万へ256倍拡張してもデコードFLOPsは1/4しか増えません。HumanEval 79.4%など主要ベンチマークでも性能向上を確認しています。 #LLM# #KVキャッシュ#
もっと見る
# AIエージェントをソフトウェアに組み込むプラクティス # コンテキスト予算配分 🎯 「全部入れれば精度が上がる」は幻想です。コンテキストウィンドウは有限の予算として管理しましょう。 スロットごとに配分比率を決め、信号密度を最大化するパターンです。 🔥 解決する課題 RAGやメモリを使うエージェントでは、検索結果・会話履歴・システム指示・長期メモリが同じコンテキストウィンドウを奪い合います。情報を詰め込むほどコストは増え、会話が長くなるとシステム指示の割合が縮んで振る舞いが劣化します。さらに"Lost in the Middle"問題により、窓の中盤に置かれた重要な情報が実質的に無視されてしまいます。 💡 提案パターン コンテキストウィンドウをシステム指示・検索結果・会話履歴・メモリなどのスロットに分け、各スロットに最大占有率と優先度を設定します。システム指示は圧縮対象外の固定枠(10〜20%)として先に確保し、検索結果はリランク後にtop-k件に絞り、履歴は窓使用率が閾値を超えたら要約圧縮します。配置順序はLost in the Middle対策として、最重要情報を先頭に、直近入力を末尾に置きます。cost_sensitivityが高い環境ほどtop-kを絞り、圧縮閾値を下げ、履歴を短く保ちます。 ✅ 選定条件 使うとき: - RAGやメモリを使い、投入候補がモデル窓サイズの50%を超えうる - コスト感度が中以上で、投入トークンの増加がコストや推論時間に影響する - 複数ターンの会話で履歴が蓄積し、他の情報のスペースを圧迫する 使わないとき: - 投入情報がシステム指示+単発入力のみで窓の30%未満に収まる場合 - ロングコンテキストモデルを使い投入量が窓の20%未満、かつコスト感度が低い場合 ⚠️ 落とし穴 - システム指示を圧縮対象にしてはいけません。ツール定義や安全指示が削られると振る舞いが壊れます - リランクなしのtop-kは信号密度が低いです。ベクトル検索上位20件からクロスエンコーダで3〜8件に絞りましょう - 要約圧縮は非可逆です。重要な決定事項や固有名詞が落ちるリスクがあるため、キーワード抽出を併用してください 🔧 実装方針 - コンテキストウィンドウをスロット(system/user/retrieval/history/memory)に分割し、各スロットに最大占有率・優先度・圧縮可否を定義した構造体で管理します - システム指示は圧縮対象外の最高優先度として先に確保し、残りの予算を他スロットに優先度降順で配分します - 検索結果はベクトル検索の上位候補をクロスエンコーダでリランクしてから予算内に収め、信号密度を最大化します - 履歴スロットが予算を超過した場合は要約圧縮を適用し、圧縮前にキーワード抽出して重要情報の欠落を防ぎます #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る