cv usk(@cv_usk):検索エージェントの精度が頭打ちなら、次に削るべきはコンテキストのトークンです。 Context as Infrastructure: Knowledge Compilation for Retrieval in Agentic Systems with Harnesses https://t.co/FeosHcL3oI BM25とgrepだけのharnessでも、FRAMESで91%に達したそうです。残る問題は、同じ文書を読み直して無駄にトークンを使うこと。そこで、事前にLLMで文脈を付与する「知識コンパイル」を提案しています。 🧾 注目ポイント1：主張-根拠ペア 1単位は「正規化した主張＋原文そのままの根拠スパン＋出典オフセット」です。根拠が特定できない主張は保存しません。検索でチャンクを見つけたら、チャンクをこのペアに置き換えてコンテキストに入れます。 📉 注目ポイント2：構造化は効かず、置換が効いた要約木、目次、wiki、グラフは精度向上が検出されませんでした。一方、主張-根拠への置換はFRAMES（N=200）でクエリトークンを平均38%削減し、精度は測定誤差内です。代償として、ラウンドが増えて遅延は悪化し、判断ゲートで抑えます。 🧮 注目ポイント3：元が取れるかを式で見積もるゲート受理率をp_hとすると、損益分岐は約2%です。実測の平均は受理率約43%に相当し、コンパイルが10クエリ分のコストなら約26クエリで回収できる計算です。ただし1ベンチ・1実行・信頼区間なしで、誤受理率の監査は未実施です。コンテキストを「インフラ」として設計する発想が実務的だと思います。 #RAG #AgenticAI

2026.11.03 03:57

検索エージェントの精度が頭打ちなら、次に削るべきはコンテキストのトークンです。 Context as Infrastructure: Knowledge Compilation for Retrieval in Agentic Systems with Harnesses BM25とgrepだけのharnessでも、FRAMESで91%に達したそうです。残る問題は、同じ文書を読み直して無駄にトークンを使うこと。そこで、事前にLLMで文脈を付与する「知識コンパイル」を提案しています。 🧾 注目ポイント1：主張-根拠ペア 1単位は「正規化した主張＋原文そのままの根拠スパン＋出典オフセット」です。根拠が特定できない主張は保存しません。検索でチャンクを見つけたら、チャンクをこのペアに置き換えてコンテキストに入れます。 📉 注目ポイント2：構造化は効かず、置換が効いた要約木、目次、wiki、グラフは精度向上が検出されませんでした。一方、主張-根拠への置換はFRAMES（N=200）でクエリトークンを平均38%削減し、精度は測定誤差内です。代償として、ラウンドが増えて遅延は悪化し、判断ゲートで抑えます。 🧮 注目ポイント3：元が取れるかを式で見積もるゲート受理率をp_hとすると、損益分岐は約2%です。実測の平均は受理率約43%に相当し、コンパイルが10クエリ分のコストなら約26クエリで回収できる計算です。ただし1ベンチ・1実行・信頼区間なしで、誤受理率の監査は未実施です。コンテキストを「インフラ」として設計する発想が実務的だと思います。 #RAG# #AgenticAI#