TL;DR: コード検索で密ベクトルがBM25に勝つ、という通説は評価設定に大きく左右されます。公平なBM25と比べるとプレミアムは縮み、denseとBM25の融合が堅実でした。
Embeddings vs. Grep: Rethinking the Dense Advantage in Code Search
ポイント
・🧪 リポジトリ単位の新ベンチマークRepoPremiumを提案(コアは10のPythonリポジトリで1,265クエリ)
・📏 BM25をチャンク分割からファイル全体に変えると、Cur-Preのプレミアムは+0.121から+0.034に縮みます
・🔤 LLMが識別子を書いてからgrepするgenerate-then-grepでは、BM25が0.613でdenseの0.532を上回りました
・🤝 denseとBM25のRRF融合が0.609で、dense単独の0.550より高い結果です
・🧭 約30のルーターを試しても、事前登録の基準を満たしたものはありませんでした
・🤖 エージェント実験では、検索ツールを替えても完全一致は約0.04しか動きません
数字は主にPythonの10リポジトリと位置特定のみの評価で、他言語は単一リポジトリです。
#
CodeSearch# #
Rag#