cv usk(@cv_usk):TL;DR 同じ文書が何度も検索されているのに、クエリのたびにまるごと再エンコードするのは無駄ではないでしょうか。DoPRは文書側の計算を一度だけ圧縮して保存し、複数のクエリで使い回すことでLLM再ランキングを高速化します。タイトル: DoPR: Reusable Compressed Document Prefixes for Efficient LLM Reranking URL: https://t.co/ooFdG7ERgB 🔑 注意度に基づいてトップKのサリエントなトークンだけを選び、文書をクエリ非依存の圧縮プリフィックス（KV状態）として一度だけオフラインで計算・保存します ⚡ オンライン再ランキングではクエリとスコアトークンだけを処理すればよく、メモリを最大8.0倍削減、長い文書ではレイテンシを最大8.04倍短縮できました 📊 TREC DL19/DL20やBEIRでNDCG@10の97.1〜99.5%を維持し、モデルサイズが大きいほど圧縮による劣化に強いことも確認されています 🔁 同じ文書を複数クエリで使い回す設定では、DL19でクエリ10件のとき約2倍、長文書中心のCovidデータセットでは5件の時点で3倍超の高速化を達成しました 🧪 アブレーションでは、ランダム選択や先頭K選択よりも注意度ガイドのトップK選択が最良の性能（NDCG@10 71.44）を示し、追加パラメータなしで実現できています 💬 文書コレクションが安定していて繰り返しアクセスされる検索システムほど、この「一度計算して使い回す」発想の恩恵が大きそうです #検索 #LLM

2026.09.05 00:31

TL;DR 同じ文書が何度も検索されているのに、クエリのたびにまるごと再エンコードするのは無駄ではないでしょうか。DoPRは文書側の計算を一度だけ圧縮して保存し、複数のクエリで使い回すことでLLM再ランキングを高速化します。タイトル: DoPR: Reusable Compressed Document Prefixes for Efficient LLM Reranking URL: 🔑 注意度に基づいてトップKのサリエントなトークンだけを選び、文書をクエリ非依存の圧縮プリフィックス（KV状態）として一度だけオフラインで計算・保存します ⚡ オンライン再ランキングではクエリとスコアトークンだけを処理すればよく、メモリを最大8.0倍削減、長い文書ではレイテンシを最大8.04倍短縮できました 📊 TREC DL19/DL20やBEIRでNDCG@10の97.1〜99.5%を維持し、モデルサイズが大きいほど圧縮による劣化に強いことも確認されています 🔁 同じ文書を複数クエリで使い回す設定では、DL19でクエリ10件のとき約2倍、長文書中心のCovidデータセットでは5件の時点で3倍超の高速化を達成しました 🧪 アブレーションでは、ランダム選択や先頭K選択よりも注意度ガイドのトップK選択が最良の性能（NDCG@10 71.44）を示し、追加パラメータなしで実現できています 💬 文書コレクションが安定していて繰り返しアクセスされる検索システムほど、この「一度計算して使い回す」発想の恩恵が大きそうです #検索# #LLM#

커뮤니티로 전달