検索エージェントの精度が頭打ちなら、次に削るべきはコンテキストのトークンです。
Context as Infrastructure: Knowledge Compilation for Retrieval in Agentic Systems with Harnesses
BM25とgrepだけのharnessでも、FRAMESで91%に達したそうです。残る問題は、同じ文書を読み直して無駄にトークンを使うこと。そこで、事前にLLMで文脈を付与する「知識コンパイル」を提案しています。
🧾 注目ポイント1:主張-根拠ペア
1単位は「正規化した主張+原文そのままの根拠スパン+出典オフセット」です。根拠が特定できない主張は保存しません。検索でチャンクを見つけたら、チャンクをこのペアに置き換えてコンテキストに入れます。
📉 注目ポイント2:構造化は効かず、置換が効いた
要約木、目次、wiki、グラフは精度向上が検出されませんでした。一方、主張-根拠への置換はFRAMES(N=200)でクエリトークンを平均38%削減し、精度は測定誤差内です。代償として、ラウンドが増えて遅延は悪化し、判断ゲートで抑えます。
🧮 注目ポイント3:元が取れるかを式で見積もる
ゲート受理率をp_hとすると、損益分岐は約2%です。実測の平均は受理率約43%に相当し、コンパイルが10クエリ分のコストなら約26クエリで回収できる計算です。
ただし1ベンチ・1実行・信頼区間なしで、誤受理率の監査は未実施です。コンテキストを「インフラ」として設計する発想が実務的だと思います。
#
RAG# #
AgenticAI#