注册并分享邀请链接,可获得视频播放与邀请奖励。

cv usk
@cv_usk
AI / Software Research Notes AI Agent, LLMOps, MLOps, Software Architecture 投稿は個人の意見です。
加入 May 2026
287 正在关注    476 粉丝
TL;DR: ユーザープロファイルをテキストではなくKVキャッシュで保存して再利用すると、LLMレコメンダーのスコアリング処理が約4倍速くなり、ランキング品質はほぼ変わりませんでした。 KVUse: Reusable-KV User Memory for Efficient LLM Recommenders ポイント ・🧠 対象はメモリ拡張型のレコメンダー。ユーザーごとの自然言語プロファイルを毎回プリフィルし直す無駄を狙います ・🚫 プロファイルの前に来る指示が呼び出しごとに違うため、プレフィックスキャッシュは効きません ・✍️ Llama-3.1-8BにLoRA writer(約6.8M)を付け、プロファイル生成時にKVも書き出します。読み出し側は元のLLMのままです ・🎓 完全プリフィルを教師にした自己蒸留で、位置はRoPE再回転で補正します ・🚀 スコアリングは3.96〜4.49倍(Booksで31.99→126.72 users/s)、更新パスは1.43〜1.91倍です ・✅ NDCG@10の変化は−0.001〜+0.008で有意差なし。素朴なKV再利用は26〜32%低下しました 注意点:KVはトークンあたり約128 KiBと大きく、writerはドメインごとの学習が必要です。 #LLM推論# #推薦システム#
显示更多