高価なニューラルインデックスを毎回作り直さずに、定番のBM25検索を賢くする——クエリ書き換えをトークン1個ずつ最適化するという、面白いアプローチです🔎 タイトル: STORM: Stepwise Token Optimization with Reward-Guided Beam Search URL: 🔎 概要 STORMは、検索の良し悪しに導かれてクエリ書き換えモデルを訓練する枠組みです。トークンを1つ生成するごとに、候補となる拡張語をBM25インデックスに照らして評価し、検索を実際に改善する語彙だけに探索を集中させます。 ❓ 解決する課題 現代の検索は密ベクトルや学習済みスパースのニューラルモデルに依存しますが、BM25のような語彙検索は高速な反面、同義語や言い換えに弱いです。 ・密ニューラル検索器は、モデルを変えるたびに高コストなインデックス再構築が必要です ・LLMによるクエリ書き換えは、「整った表現だが検索に効かない、あるいは有害な用語」を生みがちです ・訓練では系列レベルの遅延フィードバックしか得られず、どの個々の単語が効いたかが見えにくいです 💡 方法論と提案手法 ・検索性能に導かれたビームサーチ（reward-guided beam search）で自己教師あり訓練を行います ・トークン生成ごとに候補拡張語をBM25で評価し、性能の低い候補を枝刈りします ・これにより、検索指標をトークンレベルの信号に変換し、探索を有効な語彙へ集中させます ・BM25インデックスを使うため、ニューラルインデックスの再構築が不要で、インフラが軽量です 📊 実験結果 ・0.6B〜8Bパラメータのモデルが、競合するLLM書き換え器と同等以上の性能を達成しました ・BM25の速度的な優位性を維持しています ・8B版は、はるかに大きな商用システムに匹敵しました ・18言語（MIRACL）へのゼロショット転移で、専用の多言語密検索器を平均で上回りました 🌍 ユースケース インデックス再構築のコストを避けたい検索基盤や、多言語検索を低コストで強化したいシステムに向きます。既存のBM25パイプラインを活かしつつ性能を底上げできるため、検索を本番運用するチームにとって採用しやすい現実解です。 #検索# #BM25#

🦈 そのプレスリリース、世に出す前に「数百人の世論」にぶつけてみませんか？1ドル・10分で群衆の反応をまるごとシミュレートする、ちょっと未来的なエンジンが登場しました。 タイトル: aaronjmars/MiroShark URL: 📦 概要 MiroSharkは「ユニバーサル群知能エンジン」です。プレスリリースやニュース、政策草案、質問など任意のシナリオに対し、数百のAIエージェントがリアルタイムにどう反応するかをシミュレートします。エージェントは投稿し、議論し、取引し、時間の経過とともに立場を変えていきます。 ❓ 解決する課題 施策や発表にリソースを投じる前に、現実の世論がどう受け止めるかを検証したい。MiroSharkは、長時間のフォーカスグループや高額な市場調査を不要にし、1ドル以下・10分未満での検証を可能にします。 💡 仕組みと提案手法 動作は5フェーズです。 ・入力ドキュメントからオントロジーを生成 ・エンティティ関係を持つNeo4jナレッジグラフを構築 ・人口統計やWeb情報、グラフ属性で100体以上のペルソナを基礎付け ・Twitter・Reddit・予測市場をまたいで1時間単位で相互作用 ・実際の投稿や取引を引用したレポートを生成 投稿はNER・埋め込み・エンティティ解決で取り込み、ベクトル＋BM25＋グラフ走査を融合して検索します。 🎯 ユースケース ・PR炎上のテストや市場反応の予測 ・広告キャンペーンの事前検証や政策インパクト分析 ・個人の意思決定シナリオや歴史の反実仮想 実行中に速報ニュースを割り込ませたり、途中で分岐（反実仮想ブランチング）させたりもできます。 📊 注目ポイント ・GitHubで1.3kスター・265フォーク、AGPL-3.0ライセンス ・1回のシミュレーションは約1ドル・約10分・100体以上のエージェント ・バックエンドはPython、フロントはVue.js、DBはNeo4j。LLMはOpenRouter（ローカルOllamaにも対応） #AIエージェント# #シミュレーション#

単一文書のQ&Aから、数千文書を横断する分析へ——10万社が使うBoxが、Deep Agentsで「AIネイティブ」に生まれ変わった事例です📦 タイトル: Building Box AI: How an Enterprise Content Platform Went AI-Native with Deep Agents URL: 📦 概要 コンテンツ管理プラットフォームBoxが、Deep Agentsを採用して高度な複数文書分析を実現した事例です。親の「Global Agent」がリクエストの意図を分類し、必要に応じて子エージェントをツールとして動的に生成する階層型システムを構築しました。 ❓ 解決する課題 当初のBox AIは単一文書のQ&Aや知識ハブが中心でした。 ・しかし顧客は、数千文書を横断した調査の統合や、契約書をリスクフレームに照らした分析を求めました ・こうした多段階・分野横断のタスクは、従来のRAGベース検索では扱いきれませんでした 💡 方法論と提案手法 ・親のGlobal Agentが意図を分類し、単純なものは自分で、複雑なものは子エージェントを動的に生成して処理します ・全エージェントが共通ツール（BM25・ベクトル検索・構造化Q&A・ファイル操作）にアクセスできます ・子エージェントは隔離コンテキストで動き、ミドルウェア経由で結果を報告します ・ミドルウェアが本番の要：引用生成、プロンプトキャッシング、17万トークン超で自動要約するコンテキスト管理 ・Deep Agents採用の理由は、モデル非依存（OpenAI/Anthropic/Google）と反復速度です 📊 実験結果 / 実績 ・新エージェントの投入が、数ヶ月から数週間に短縮 ・再帰的な親子システムは、当初の専門エージェント構成より4倍速く出荷 ・単純なクエリは子生成をバイパスし、不要なレイテンシを排除 #AIエージェント# #エンタープライズAI#