検索エージェントの精度が頭打ちなら、次に削るべきはコンテキストのトークンです。 Context as Infrastructure: Knowledge Compilation for Retrieval in Agentic Systems with Harnesses BM25とgrepだけのharnessでも、FRAMESで91%に達したそうです。残る問題は、同じ文書を読み直して無駄にトークンを使うこと。そこで、事前にLLMで文脈を付与する「知識コンパイル」を提案しています。 🧾 注目ポイント1：主張-根拠ペア 1単位は「正規化した主張＋原文そのままの根拠スパン＋出典オフセット」です。根拠が特定できない主張は保存しません。検索でチャンクを見つけたら、チャンクをこのペアに置き換えてコンテキストに入れます。 📉 注目ポイント2：構造化は効かず、置換が効いた 要約木、目次、wiki、グラフは精度向上が検出されませんでした。一方、主張-根拠への置換はFRAMES（N=200）でクエリトークンを平均38%削減し、精度は測定誤差内です。代償として、ラウンドが増えて遅延は悪化し、判断ゲートで抑えます。 🧮 注目ポイント3：元が取れるかを式で見積もる ゲート受理率をp_hとすると、損益分岐は約2%です。実測の平均は受理率約43%に相当し、コンパイルが10クエリ分のコストなら約26クエリで回収できる計算です。 ただし1ベンチ・1実行・信頼区間なしで、誤受理率の監査は未実施です。コンテキストを「インフラ」として設計する発想が実務的だと思います。 #RAG# #AgenticAI#

RAGの弱点は、実はジェネレーターではなくリトリーバー。インデックスなしで文書を「辿って」探す方法を提案する論文です。 タイトル: Retriever-Free Retrieval: Navigating Documents with Decision Models URL: コーパスを木構造にし、決定モデル(Jev)が候補を一括判定しながら上位の枝だけを展開していく「DecisionRAG」。タスク固有の学習も第1段のリトリーバーも不要です。 注目ポイントは3つです。 🧭 共通文脈で比べるから、スコアが揃う 全候補を同じ文脈でまとめて判定するため、明らかに良い候補があると、もっともらしい候補のスコアは下がります。MultiDoc2Dialでは、ページごとの採点より、まとめて採点するほうがR@1が36.7%から44.4%に上がりました。 🌲 対数で広がるナビゲーション 分岐100なら10⁹パッセージでも約5ステージ、約1秒で到達する計算です。Natural Questionsでは、クラスタの約15%を残すだけで全ページ採点と同等のR@10を、コスト約1/5で保ちました。 ⚡ GPT-5リランクと同等以上で、速くて安い Natural QuestionsのHit@1は65.4で、GPT-5リランクの60.8を上回りました。レイテンシは0.68〜1.76秒で、GPT-5リランクの11.8〜15.0秒より短いです。ただし刈り込みは不可逆で、階層の質に依存します。 検索を「並べ替え」ではなく「探索」として捉え直した点が新鮮です。 #RAG# #情報検索#

エージェントの検索が失敗する理由は、検索の精度だけではありません。コンテキストの使い方に原因があります。 タイトル: Context Engineering Starts with Retrieval URL: 🔎 概要 LangChain が Deep Agents を例に、検索を3つの失敗（非効率・多すぎる・古い/無関係）に分けて整理した記事です。毎週数百社を調べる競合分析エージェントが題材です。 ⚠️ 解決する課題 ・検索のたびにトークンを消費し、コンテキストが埋まる ・大きな検索結果が作業スペースを圧迫する ・古い情報や的外れな情報が、以降の手順の土台になる 🛠️ 方法論と提案手法 ・まず glob と grep で絞り、意味で探すときだけベクトル検索を使う ・read_file は既定100行でページング。約2万トークン超の結果は自動でファイルに退避 ・検索結果はパスだけ返し、1ファイル担当のサブエージェントが要点と出典だけを返す ・日付フィルタで鮮度を保ち、取得テキストはインジェクションを前提に出典を検証する 📊 ユースケース 約4万行の市場データから売上を1つ引く場合、grep で数値を探して前後の数行だけを読みます。ニュース検索は4本の全文ではなく4つのパスだけがメインに返ります。 #コンテキストエンジニアリング# #AIエージェント#

エンタープライズRAGの「文書チャンキング」問題を、コスト95.7%削減しながら解いた手法が発表されました。 タイトル: D-RAC: Document Retrieval-Aware Chunking URL: 📌 概要 PDF・DOCX・PPTX・スキャン画像などバラバラな企業文書を、いったんPDFに正規化してからマルチモーダルLLMで検索最適化Markdownに1回だけ変換し、そのあとはID単位で決定的にチャンク計画を立てる4段階パイプラインです。 ❗ 解決する課題 従来のルールベース抽出は表や見出し階層を壊してしまい、精度重視のエージェント的チャンキングは文書全体を再生成するためコストが高くつくというジレンマがありました。 🛠️ 方法論・提案手法 表を列見出し付きの1文にする「行レベル散文化」、見出し階層の再構成、ID配列だけを渡すチャンク計画など、検索精度とコスト効率を両立する設計を随所に採用しています。 📊 実験結果 236文書・795ページの評価で、出力トークンを95.7%削減しつつRecall@6は0.798とエージェント的手法（0.795）やルールベース（0.717）を上回りました。処理時間も75%短縮しています。 🏢 ユースケース 自動車・銀行・クラウドなど複数業界の文書で安定した性能を確認しており、本番のエンタープライズRAGパイプラインへそのまま組み込みやすい設計です。 #RAG# #ドキュメント処理#

🔎 「エージェント検索に埋め込みもベクトルDBも要らない。grepで生コーパスを直接叩け」という挑発的な研究です。 タイトル: Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction URL: ❓ Direct Corpus Interaction(DCI)とは何ですか？ 💡 埋め込みモデル・ベクトルインデックス・検索APIを一切使わず、エージェントがgrepやfind、シェルコマンドで生コーパスを直接探索する検索パラダイムです。オフラインのインデックス構築が不要で、変化し続けるローカルコーパスに自然に適応します。 ❓ なぜ従来のリトリーバではダメなのですか？ 💡 BM25でも密ベクトルでも、コーパスを「固定の類似度インターフェース」でtop-kに圧縮してから推論を始めます。すると厳密な字句一致や弱い手がかりの結合、局所文脈の確認がしづらく、早期に落ちた証拠は後段でどれだけ推論しても復元できません。エージェントの多段探索には致命的です。 ❓ 本当にリトリーバなしで勝てるのですか？ 💡 勝てます。BrowseComp-Plusでは同じSonnet 4.6でリトリーバをDCIに替えると正答率69.0→80.0%(+11.0)かつコスト−29.4%。多段QA平均は83.0で最強ベースライン比+30.7、IRランキングはNDCG@10で68.5(+21.5)。軽量なGPT-5.4 nano版でも多くのベースラインを上回りました。 ❓ 何が効いているのですか？ 💡 著者らは「retrieval interface resolution(検索インターフェースの解像度)」と呼びます。優位は多くのgold文書を出すことより、到達後に小さな証拠スパンへ精密に絞り込む高解像度な局所探索・検証から来る、と軌道分析で示しています。 #AIエージェント# #RAG#

🔎 「エージェント検索に埋め込みもベクトルDBも要らない。grepで生コーパスを直接叩け」という挑発的な研究です。 タイトル: Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction URL: ❓ Direct Corpus Interaction(DCI)とは何ですか？ 💡 埋め込みモデル・ベクトルインデックス・検索APIを一切使わず、エージェントがgrepやfind、シェルコマンドで生コーパスを直接探索する検索パラダイムです。オフラインのインデックス構築が不要で、変化し続けるローカルコーパスに自然に適応します。 ❓ なぜ従来のリトリーバではダメなのですか？ 💡 BM25でも密ベクトルでも、コーパスを「固定の類似度インターフェース」でtop-kに圧縮してから推論を始めます。すると厳密な字句一致や弱い手がかりの結合、局所文脈の確認がしづらく、早期に落ちた証拠は後段でどれだけ推論しても復元できません。エージェントの多段探索には致命的です。 ❓ 本当にリトリーバなしで勝てるのですか？ 💡 勝てます。BrowseComp-Plusでは同じSonnet 4.6でリトリーバをDCIに替えると正答率69.0→80.0%(+11.0)かつコスト−29.4%。多段QA平均は83.0で最強ベースライン比+30.7、IRランキングはNDCG@10で68.5(+21.5)。軽量なGPT-5.4 nano版でも多くのベースラインを上回りました。 ❓ 何が効いているのですか？ 💡 著者らは「retrieval interface resolution(検索インターフェースの解像度)」と呼びます。優位は多くのgold文書を出すことより、到達後に小さな証拠スパンへ精密に絞り込む高解像度な局所探索・検証から来る、と軌道分析で示しています。 #AIエージェント# #RAG#

RAGの「精度を上げると遅くなる」ジレンマに、トピックを“方位磁針”として使う発想で挑む研究です🧭 タイトル: MCompassRAG: Topic Metadata as a Semantic Compass for Paragraph-Level Retrieval URL: 🧭 概要 トピックレベルのシグナルを「意味的なコンパス」として使い、関連する根拠を段落（パラグラフ）レベルで選び出す、メタデータ誘導型の検索フレームワークです。精度と効率を同時に高めることを狙います。 ❓ 解決する課題 RAGには、検索の精度と効率のトレードオフがあります。 ・細かいチャンクは精度が上がるが、候補が増えてレイテンシとコストが増大します ・大きいチャンクは候補が減るが、複数トピックの混在で意味的ノイズが生まれます 特に大規模データへの高速・高精度検索が要るディープリサーチで顕著です。 💡 方法論と提案手法 ・チャンクの表現を、同一の埋め込み空間内でトピックメタデータによって強化します ・LLM教師蒸留で、軽量なリトリーバーを訓練します ・これにより、推論時に追加のLLM呼び出しなしで「トピックを意識した検索」を実現します メタデータと密な埋め込みを組み合わせ、軽量リトリーバーに蒸留するのが核心です。 📊 実験結果 ・情報効率：6つのベンチマークで平均8.24%改善 ・レイテンシ：最も強力な効率重視RAGベースラインより5倍以上低い ・コードは公開リポジトリで提供 推論時の追加LLM呼び出しなしで、この精度と速度を両立しています。 #RAG# #検索#

エージェントのメモリは、実はIR（情報検索）の問題だ。清華大学のQingyao Ai氏による、そんな問題提起のパースペクティブ論文です。 タイトル: Agentic Memory Management Is the Next Frontier of Information Retrieval URL: 🧠 概要 IRは「検索結果を読むのは人間」という前提で発展してきました。しかしエージェントは検索した情報を自分の内部状態として使います。この論文は、エージェントのメモリ管理をAMMとして整理します。 ❓ 解決する課題 エージェントメモリの研究は場当たり的で、人間の心理学から借りた用語が一貫せず、評価も弱いままです。 🧩 提案する枠組み ・constants：事実（内容でマッチ） ・functions：スキルやワークフロー（適用可能性でマッチ） ・operators：好みやスタイル（スコープでマッチ） 追加・更新・削除・検索・利用の5操作を、学習・忘却・利用にまとめます。RAG、MemGPT、Mem0なども分類し、再利用可能なスキルや原理的な忘却が手薄だと指摘しています。 🔭 今後の課題 ・3層を網羅し忘却も測るベンチマーク ・下流タスクの成果で診断できる「観測可能性の反転」 ・メモリポイズニングなど人間による制御とセキュリティ 実験はなく、枠組みと推測を示す論文です。 #AgentMemory# #情報検索#

TL;DR 最新の高性能エンコーダがスパース検索では旧世代モデルにすら負けていた原因は「語彙設計のミスマッチ」でした。わずか2万ステップの適応学習でこれを解消し、BEIRで新たなSOTAを達成しています。 タイトル: Why Advanced Encoders Lag on Sparse Retrieval? The Answer and an Approach to Bridging Vocabulary Gaps URL: ポイント 🔤 原因は大文字小文字を区別する生の語彙が意味を無駄に分散させていたこと 🧩 提案手法Vocabulary Transferは語彙移行を3ステップで行う軽量な後付け手法 📊 ModernBERT-VTはBEIRでnDCG@10 52.4を達成し新SOTA 💥 崩壊していたRoBERTa-largeもBEIRスコア1.4から51.3まで劇的に回復 ⚡ 使用トークン数は元の事前学習の0.2%未満という圧倒的な低コスト 🧪 わずか500 MLMステップでほぼ最適な性能に到達 🧬 化学ドメインなど専門語彙への適応でも効果を確認 アーキテクチャの限界だと思われていた問題が、実は語彙の作り直しだけで解決できるというのが面白い発見です。 #情報検索# #LLM#

# ADKの便利で実践的な使い方 セッションを超えた「長期記憶」を実現するMemory機能。過去の会話から学び、ユーザーを深く理解するエージェントを作りましょう🧠 📌 **タイトル**: Memory 🔗 **URL**: ## 🧩 概要 Memoryは、セッションを横断して検索可能な長期知識を管理する機能です。Stateが「今の会話」のデータを保持するのに対し、Memoryは「過去の会話から得た知識」を蓄積し、自然言語で検索できます。 主要なAPIは以下の2つです。 - `add_session_to_memory` / `add_events_to_memory`: セッションやイベントの内容をメモリに追加 - `search_memory`: 自然言語クエリでメモリを検索 バックエンドにはChromaなどのベクトルDBを使用でき、RAG（Retrieval-Augmented Generation）パターンでエージェントの応答品質を向上させます。 ## 🛠 使い方 `google.adk.memory` から `InMemoryMemoryService` をインポートしてインスタンス化します。セッション終了時に `await memory_service.add_session_to_memory(session)` でセッション内容をメモリに追加します。検索時は `await memory_service.search_memory(app_name=..., user_id=..., query="以前のネットワーク接続の問題")` のように自然言語クエリを渡します。返されたresultsの各 `memory` オブジェクトの `memory.content` から、過去の関連する会話内容を取得してエージェントの文脈に活用できます。 ## 🏗 実践的な使い方 **カスタマーサポートでの活用:** 1. ユーザーが「ネットワークがまた繋がらない」と問い合わせ 2. Memoryを「ネットワーク接続の問題」で検索 3. 「前回（3日前）も同じ問題で問い合わせがあり、ルーターの再起動で解決しました」という情報を取得 4. エージェントが「前回の問題は解決しましたか？同じ症状でしたらルーターの再起動をお試しください」と提案 過去の対応履歴を踏まえた、パーソナライズされたサポートが実現します。 **学習支援エージェント:** 1. 「微分がわからない」とユーザーが相談 2. Memoryを検索し、「このユーザーは視覚的な説明を好む」「前回は具体例から理解した」という知識を取得 3. グラフを使った具体例ベースの説明を提供 ## 💡 ユースケース - 🎧 カスタマーサポート: 過去の問い合わせ履歴を踏まえた対応。「前回の問題は解決しましたか？」 - 📚 学習支援: ユーザーの学習スタイルや理解度を記憶し、最適な教え方を選択 - 🏥 健康管理: 過去の相談履歴から傾向を把握し、継続的なアドバイスを提供 - 🛒 パーソナルショッパー: 購買履歴や好みを記憶し、的確な商品提案 ## ⚠️ 注意点 - メモリに個人情報を保存する場合、プライバシーポリシーとデータ保護規制への準拠が必要です - ベクトルDBの検索精度はエンベディングモデルの品質に依存します。適切なモデルを選択してください - メモリの量が増えると検索コストも増加します。定期的な整理やTTL（有効期限）の設定を検討しましょう - `InMemoryMemoryService` はプロセス再起動でデータが消えます。本番ではChromaなどの永続化バックエンドを使用してください ✨ Memory機能でエージェントに長期記憶を持たせれば、ユーザーとの関係が深まり、回を重ねるほど賢くなるエージェントが実現します！ #ADK# #AIAgent#