TwiScan
人気
コミュニティ
アカウントコレクション
ログイン
登録
English
日本語
한국의
简体中文
繁体中文
登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。
今すぐ登録
Xudong Han
@Xudong07452910
PhD ing @ University of Sussex | LLM & AI Agents 🎓 AI Agent Product Development Sharing AI tech insights DM for collab 📩 vx: hxdflying
参加 November 2020
744
フォロー中
16.1K
ファン
Xudong Han
@Xudong07452910
2026.11.06 03:22
你是否需要很长的上下文? NVIDIA 新论文标题给了一种答案:《You don't need long context》。 现在模型的 context window 越做越长,128K、256K、1M 已经很常见。 但论文先指出一个很现实的问题:context 越长,后面的 token 越贵。 在他们测试的开放模型上,256K context 相比 16K,每个输出 token 的推理成本高出约 3.6–7 倍。 作者于是做了一件很简单的事: 让 Agent 定期「压缩」自己的工作状态。 对话变长以后,把当前进度、关键发现和下一步计划总结成一个更短的 semantic state,再从新的 context 继续执行。 原始历史依然可以保存,需要时再选择性读取;模型没必要每一步都把全部历史重新塞进 context。 结果在 6 个长时任务上,Claude Opus 4.5 和 GPT-5.6 Sol 即使把 context 压到很短,整体准确率依然基本保持稳定;估算推理成本分别最高降低约 8.8× 和 5×。 他们甚至测试了一个更极端的版本: Agent 每执行一个动作,就重新压缩一次 context。 性能依然没有崩。 这也引出了论文里一个挺有意思的概念:Semantic State Space Model。 未来长时 Agent 也许不需要维护一条越来越长的聊天记录,而是持续维护一个小而清晰的「当前状态」,执行一步,再更新一次。 长 context 当然有价值,但很多 Agent 任务真正需要的,可能是更好的状态管理和按需检索。 把所有历史一直带在身上,未必是最好的长期记忆方式。 📎 arxiv:
もっと見る
0
0
12
233
31
コミュニティへ転送
人気のあるユーザー
オリコンニュース
@oricon
2M ファン
New York Post
@nypost
4.3M ファン
ツイッター速報〜BreakingNews
@tweetsoku1
259.8K ファン
TVer新着
@TVer_info
101.8K ファン
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K ファン
Bloomberg
@business
10.5M ファン
Reuters
@Reuters
26.5M ファン
モデルプレス
@modelpress
2.1M ファン
First Squawk
@FirstSquawk
579.6K ファン
billboard
@billboard
16.8M ファン
MANTANWEB/毎日キレイ
@mantanweb
68.6K ファン
吴说区块链
@wublockchain12
183K ファン
ファミ通.com
@famitsu
1.4M ファン
cv usk
@cv_usk
473 ファン
Yahoo!ニュース
@YahooNewsTopics
2.1M ファン