TL;DR: ユーザープロファイルをテキストではなくKVキャッシュで保存して再利用すると、LLMレコメンダーのスコアリング処理が約4倍速くなり、ランキング品質はほぼ変わりませんでした。
KVUse: Reusable-KV User Memory for Efficient LLM Recommenders
ポイント
・🧠 対象はメモリ拡張型のレコメンダー。ユーザーごとの自然言語プロファイルを毎回プリフィルし直す無駄を狙います
・🚫 プロファイルの前に来る指示が呼び出しごとに違うため、プレフィックスキャッシュは効きません
・✍️ Llama-3.1-8BにLoRA writer(約6.8M)を付け、プロファイル生成時にKVも書き出します。読み出し側は元のLLMのままです
・🎓 完全プリフィルを教師にした自己蒸留で、位置はRoPE再回転で補正します
・🚀 スコアリングは3.96〜4.49倍(Booksで31.99→126.72 users/s)、更新パスは1.43〜1.91倍です
・✅ NDCG
@10の変化は−0.001〜+0.008で有意差なし。素朴なKV再利用は26〜32%低下しました
注意点:KVはトークンあたり約128 KiBと大きく、writerはドメインごとの学習が必要です。
#
LLM推論# #
推薦システム#