高価なニューラルインデックスを毎回作り直さずに、定番のBM25検索を賢くする——クエリ書き換えをトークン1個ずつ最適化するという、面白いアプローチです🔎 タイトル: STORM: Stepwise Token Optimization with Reward-Guided Beam Search URL: 🔎 概要 STORMは、検索の良し悪しに導かれてクエリ書き換えモデルを訓練する枠組みです。トークンを1つ生成するごとに、候補となる拡張語をBM25インデックスに照らして評価し、検索を実際に改善する語彙だけに探索を集中させます。 ❓ 解決する課題 現代の検索は密ベクトルや学習済みスパースのニューラルモデルに依存しますが、BM25のような語彙検索は高速な反面、同義語や言い換えに弱いです。 ・密ニューラル検索器は、モデルを変えるたびに高コストなインデックス再構築が必要です ・LLMによるクエリ書き換えは、「整った表現だが検索に効かない、あるいは有害な用語」を生みがちです ・訓練では系列レベルの遅延フィードバックしか得られず、どの個々の単語が効いたかが見えにくいです 💡 方法論と提案手法 ・検索性能に導かれたビームサーチ（reward-guided beam search）で自己教師あり訓練を行います ・トークン生成ごとに候補拡張語をBM25で評価し、性能の低い候補を枝刈りします ・これにより、検索指標をトークンレベルの信号に変換し、探索を有効な語彙へ集中させます ・BM25インデックスを使うため、ニューラルインデックスの再構築が不要で、インフラが軽量です 📊 実験結果 ・0.6B〜8Bパラメータのモデルが、競合するLLM書き換え器と同等以上の性能を達成しました ・BM25の速度的な優位性を維持しています ・8B版は、はるかに大きな商用システムに匹敵しました ・18言語（MIRACL）へのゼロショット転移で、専用の多言語密検索器を平均で上回りました 🌍 ユースケース インデックス再構築のコストを避けたい検索基盤や、多言語検索を低コストで強化したいシステムに向きます。既存のBM25パイプラインを活かしつつ性能を底上げできるため、検索を本番運用するチームにとって採用しやすい現実解です。 #検索# #BM25#

検索エージェントの精度が頭打ちなら、次に削るべきはコンテキストのトークンです。 Context as Infrastructure: Knowledge Compilation for Retrieval in Agentic Systems with Harnesses BM25とgrepだけのharnessでも、FRAMESで91%に達したそうです。残る問題は、同じ文書を読み直して無駄にトークンを使うこと。そこで、事前にLLMで文脈を付与する「知識コンパイル」を提案しています。 🧾 注目ポイント1：主張-根拠ペア 1単位は「正規化した主張＋原文そのままの根拠スパン＋出典オフセット」です。根拠が特定できない主張は保存しません。検索でチャンクを見つけたら、チャンクをこのペアに置き換えてコンテキストに入れます。 📉 注目ポイント2：構造化は効かず、置換が効いた 要約木、目次、wiki、グラフは精度向上が検出されませんでした。一方、主張-根拠への置換はFRAMES（N=200）でクエリトークンを平均38%削減し、精度は測定誤差内です。代償として、ラウンドが増えて遅延は悪化し、判断ゲートで抑えます。 🧮 注目ポイント3：元が取れるかを式で見積もる ゲート受理率をp_hとすると、損益分岐は約2%です。実測の平均は受理率約43%に相当し、コンパイルが10クエリ分のコストなら約26クエリで回収できる計算です。 ただし1ベンチ・1実行・信頼区間なしで、誤受理率の監査は未実施です。コンテキストを「インフラ」として設計する発想が実務的だと思います。 #RAG# #AgenticAI#

TL;DR 1万超のツールから必要なものを選ぶ仕事を、Qwen3の1.7B〜8Bに強化学習で教えたら、402BのLlama-4-Maverickをプロンプトで使うより高精度になりました。 タイトル: Training Small Language Models for Transferable Tool Selection URL: ポイント ・🧩 指示をサブステップに分割し、リトリーバーで候補を絞り、1つずつ選ぶ「Plan-Retrieve-Select」 ・🧹 ToolBench G3のノイズあるゴールドを教師モデルで精査し、20,093件に整備 ・🎯 SFTのあとGRPOで、Planは順位重み付きF1、Selectは完全一致を報酬に学習 ・📈 ToolBench G3の成功率は8Bで41.5%。Maverickの最良は30.6% ・🔁 BM25を密リトリーバーCOLTに替えるだけで、再訓練なしに精度が向上 ・🧪 Selectorを学習済みにすると、BM25 top-1より約13ポイント上乗せ ・⚠️ TaskBenchではPlanの転用が弱く、大型モデルに負けるケースもあります 大きなモデルをプロンプトで回すより、小さなモデルを目的特化で訓練するほうが安く速く強くなる好例です。 #LLMエージェント# #ToolUse#

🔎 「エージェント検索に埋め込みもベクトルDBも要らない。grepで生コーパスを直接叩け」という挑発的な研究です。 タイトル: Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction URL: ❓ Direct Corpus Interaction(DCI)とは何ですか？ 💡 埋め込みモデル・ベクトルインデックス・検索APIを一切使わず、エージェントがgrepやfind、シェルコマンドで生コーパスを直接探索する検索パラダイムです。オフラインのインデックス構築が不要で、変化し続けるローカルコーパスに自然に適応します。 ❓ なぜ従来のリトリーバではダメなのですか？ 💡 BM25でも密ベクトルでも、コーパスを「固定の類似度インターフェース」でtop-kに圧縮してから推論を始めます。すると厳密な字句一致や弱い手がかりの結合、局所文脈の確認がしづらく、早期に落ちた証拠は後段でどれだけ推論しても復元できません。エージェントの多段探索には致命的です。 ❓ 本当にリトリーバなしで勝てるのですか？ 💡 勝てます。BrowseComp-Plusでは同じSonnet 4.6でリトリーバをDCIに替えると正答率69.0→80.0%(+11.0)かつコスト−29.4%。多段QA平均は83.0で最強ベースライン比+30.7、IRランキングはNDCG@10で68.5(+21.5)。軽量なGPT-5.4 nano版でも多くのベースラインを上回りました。 ❓ 何が効いているのですか？ 💡 著者らは「retrieval interface resolution(検索インターフェースの解像度)」と呼びます。優位は多くのgold文書を出すことより、到達後に小さな証拠スパンへ精密に絞り込む高解像度な局所探索・検証から来る、と軌道分析で示しています。 #AIエージェント# #RAG#

🔎 「エージェント検索に埋め込みもベクトルDBも要らない。grepで生コーパスを直接叩け」という挑発的な研究です。 タイトル: Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction URL: ❓ Direct Corpus Interaction(DCI)とは何ですか？ 💡 埋め込みモデル・ベクトルインデックス・検索APIを一切使わず、エージェントがgrepやfind、シェルコマンドで生コーパスを直接探索する検索パラダイムです。オフラインのインデックス構築が不要で、変化し続けるローカルコーパスに自然に適応します。 ❓ なぜ従来のリトリーバではダメなのですか？ 💡 BM25でも密ベクトルでも、コーパスを「固定の類似度インターフェース」でtop-kに圧縮してから推論を始めます。すると厳密な字句一致や弱い手がかりの結合、局所文脈の確認がしづらく、早期に落ちた証拠は後段でどれだけ推論しても復元できません。エージェントの多段探索には致命的です。 ❓ 本当にリトリーバなしで勝てるのですか？ 💡 勝てます。BrowseComp-Plusでは同じSonnet 4.6でリトリーバをDCIに替えると正答率69.0→80.0%(+11.0)かつコスト−29.4%。多段QA平均は83.0で最強ベースライン比+30.7、IRランキングはNDCG@10で68.5(+21.5)。軽量なGPT-5.4 nano版でも多くのベースラインを上回りました。 ❓ 何が効いているのですか？ 💡 著者らは「retrieval interface resolution(検索インターフェースの解像度)」と呼びます。優位は多くのgold文書を出すことより、到達後に小さな証拠スパンへ精密に絞り込む高解像度な局所探索・検証から来る、と軌道分析で示しています。 #AIエージェント# #RAG#

検索パイプライン構築の本当の敵は「ツールの寄せ集め」でした🔍 取り込み・検索・評価を1つに束ねるオープンソースのフレームワークが登場しました。 タイトル: Introducing Search Toolkit URL: 🔍 概要 Mistral Search Toolkitは、AIアプリ向けの本番検索パイプラインを効率化する、コンポーザブルなオープンソースのフレームワークです。取り込み（ingestion）・検索（retrieval）・評価（evaluation）を、1つの統一システムに統合します。 ❓ 解決する課題 本番品質の検索パイプライン構築は想像以上に大変です。 ・多くの組織は、バラバラのツールを寄せ集めて統合することに膨大な時間を費やします ・その結果、肝心の「検索の質を上げること」自体に手が回りません 💡 方法論と機能 3つのコンポーネントで構成されます。 ・取り込み：複数データソースを設定可能なパイプラインで処理し、パース・チャンク分割・埋め込み生成を担う ・検索：BM25スパース検索、密な埋め込みベース検索、両者のハイブリッド構成を提供 ・評価：recall・precision・MRR・NDCGなどの組み込み指標で、構成ごとの性能を測定 「取り込み→検索→評価」を1つのフレームワークで完結できます。 🌍 ユースケース ・ウィキ・リポジトリ・ファイルを横断するエンタープライズ検索 ・検索の質を分離して測定したいRAGシステム ・法務・医療などのドメイン特化検索 ・ライブデータと並行して信頼できるインデックス検索が必要なエージェント 金融・製造・公共・メディアで既に導入実績があります。 #検索# #RAG#

再ランキングは、どのクエリでも上位1000件まで回すのが本当に最善なのでしょうか。 Optimal Re-Ranking Depth ❓ 最適な深度はクエリで違うの？ 💡 違います。再ランキングの最適深度は、クエリごとに最高の効果に届く最も浅い深度として定義できます。深く回すと効果が下がるクエリもあります。MS MARCOでオラクルが深度を選ぶと、DCG@10が7%以上上がり、平均深度は約5分の1になります。 ❓ 事前に深度を予測できるの？ 💡 既存のクエリ性能予測（QPP）11種は、概ね当てになりませんでした。一方、第1段ランキングのDCG@10をLLMの関連性判定で測る「IR-DCG@10」は有望です。 ❓ どれくらい減らせる？ 💡 BM25とMono-T5では、全件再ランキングと同じ効果のまま平均深度が511から331へ、約3分の1になりました（最良のQPPは約2分の1）。SPLADEでは最適深度がもともと約20と浅く、IR-DCG@10で約15分の1の削減です。 ❓ 注意点は？ 💡 判定は単一のLLM（GPT-4o-mini）で、上位10件のプールが中心です。結果は予備的で、オラクルとの差も残ります。運用では、予測にLLM判定が必要な点が気になります。 #InformationRetrieval# #Reranking#

pgvectorのHNSWで「フィルタをかけると結果が減る」「インデックスが重い」と困っていませんか？ タイトル: Introducing pg_pinecone: Open-Source Search for Your Postgres Data URL: 🐘 概要 Apache 2.0のオープンソースPostgres拡張です。既存のpgvectorのベクトル列に、Pineconeの検索エンジンによるベクトル検索を足せます。データベース内で動くので、データはPostgresの外に出ません。 ❓ 解決する課題 HNSWはデータ増でメモリと構築時間が膨らみ、テナント単位などのフィルタ付き検索では、要求件数より少ない結果になることがあります。 🧩 方法論と提案手法 グラフの代わりに、IVFとRaBitQ（約1ビット/次元）のコードを使い、近いクラスタ探索、コードで距離推定、完全ベクトルで再ランクの3段階で検索します。フィルタは全行の3%以下ならプレフィルタで厳密に、それ以上なら各クラスタ内で確認します。APIキーなしのnativeエンジンのほか、remote、embed()、BM25、rerank()も選べます。 📊 実験結果（ベンダー報告） 100万ベクトル・768次元で、 ・再現率0.95のレイテンシ 1.27 ms（HNSW halfvecは1.71 ms） ・インデックスサイズ 136 MB（HNSW halfvecは2.0 GB） ・1%フィルタ：再現率0.981を8.3 ms（HNSW halfvecは0.924を56 ms） ただし1データセット、1構成の結果で、一括ロード後はREINDEXが必要です。 #Postgres# #VectorSearch#

🦈 そのプレスリリース、世に出す前に「数百人の世論」にぶつけてみませんか？1ドル・10分で群衆の反応をまるごとシミュレートする、ちょっと未来的なエンジンが登場しました。 タイトル: aaronjmars/MiroShark URL: 📦 概要 MiroSharkは「ユニバーサル群知能エンジン」です。プレスリリースやニュース、政策草案、質問など任意のシナリオに対し、数百のAIエージェントがリアルタイムにどう反応するかをシミュレートします。エージェントは投稿し、議論し、取引し、時間の経過とともに立場を変えていきます。 ❓ 解決する課題 施策や発表にリソースを投じる前に、現実の世論がどう受け止めるかを検証したい。MiroSharkは、長時間のフォーカスグループや高額な市場調査を不要にし、1ドル以下・10分未満での検証を可能にします。 💡 仕組みと提案手法 動作は5フェーズです。 ・入力ドキュメントからオントロジーを生成 ・エンティティ関係を持つNeo4jナレッジグラフを構築 ・人口統計やWeb情報、グラフ属性で100体以上のペルソナを基礎付け ・Twitter・Reddit・予測市場をまたいで1時間単位で相互作用 ・実際の投稿や取引を引用したレポートを生成 投稿はNER・埋め込み・エンティティ解決で取り込み、ベクトル＋BM25＋グラフ走査を融合して検索します。 🎯 ユースケース ・PR炎上のテストや市場反応の予測 ・広告キャンペーンの事前検証や政策インパクト分析 ・個人の意思決定シナリオや歴史の反実仮想 実行中に速報ニュースを割り込ませたり、途中で分岐（反実仮想ブランチング）させたりもできます。 📊 注目ポイント ・GitHubで1.3kスター・265フォーク、AGPL-3.0ライセンス ・1回のシミュレーションは約1ドル・約10分・100体以上のエージェント ・バックエンドはPython、フロントはVue.js、DBはNeo4j。LLMはOpenRouter（ローカルOllamaにも対応） #AIエージェント# #シミュレーション#

単一文書のQ&Aから、数千文書を横断する分析へ——10万社が使うBoxが、Deep Agentsで「AIネイティブ」に生まれ変わった事例です📦 タイトル: Building Box AI: How an Enterprise Content Platform Went AI-Native with Deep Agents URL: 📦 概要 コンテンツ管理プラットフォームBoxが、Deep Agentsを採用して高度な複数文書分析を実現した事例です。親の「Global Agent」がリクエストの意図を分類し、必要に応じて子エージェントをツールとして動的に生成する階層型システムを構築しました。 ❓ 解決する課題 当初のBox AIは単一文書のQ&Aや知識ハブが中心でした。 ・しかし顧客は、数千文書を横断した調査の統合や、契約書をリスクフレームに照らした分析を求めました ・こうした多段階・分野横断のタスクは、従来のRAGベース検索では扱いきれませんでした 💡 方法論と提案手法 ・親のGlobal Agentが意図を分類し、単純なものは自分で、複雑なものは子エージェントを動的に生成して処理します ・全エージェントが共通ツール（BM25・ベクトル検索・構造化Q&A・ファイル操作）にアクセスできます ・子エージェントは隔離コンテキストで動き、ミドルウェア経由で結果を報告します ・ミドルウェアが本番の要：引用生成、プロンプトキャッシング、17万トークン超で自動要約するコンテキスト管理 ・Deep Agents採用の理由は、モデル非依存（OpenAI/Anthropic/Google）と反復速度です 📊 実験結果 / 実績 ・新エージェントの投入が、数ヶ月から数週間に短縮 ・再帰的な親子システムは、当初の専門エージェント構成より4倍速く出荷 ・単純なクエリは子生成をバイパスし、不要なレイテンシを排除 #AIエージェント# #エンタープライズAI#