TwiScan
Hot
Communities
Account collections
Login
Register
English
日本語
한국의
简体中文
繁体中文
Register and share your invite link to earn from video plays and referrals.
Register now
Xudong Han
@Xudong07452910
PhD ing @ University of Sussex | LLM & AI Agents 🎓 AI Agent Product Development Sharing AI tech insights DM for collab 📩 vx: hxdflying
Joined November 2020
744
Following
16.1K
Followers
Xudong Han
@Xudong07452910
2026.11.06 03:22
你是否需要很长的上下文? NVIDIA 新论文标题给了一种答案:《You don't need long context》。 现在模型的 context window 越做越长,128K、256K、1M 已经很常见。 但论文先指出一个很现实的问题:context 越长,后面的 token 越贵。 在他们测试的开放模型上,256K context 相比 16K,每个输出 token 的推理成本高出约 3.6–7 倍。 作者于是做了一件很简单的事: 让 Agent 定期「压缩」自己的工作状态。 对话变长以后,把当前进度、关键发现和下一步计划总结成一个更短的 semantic state,再从新的 context 继续执行。 原始历史依然可以保存,需要时再选择性读取;模型没必要每一步都把全部历史重新塞进 context。 结果在 6 个长时任务上,Claude Opus 4.5 和 GPT-5.6 Sol 即使把 context 压到很短,整体准确率依然基本保持稳定;估算推理成本分别最高降低约 8.8× 和 5×。 他们甚至测试了一个更极端的版本: Agent 每执行一个动作,就重新压缩一次 context。 性能依然没有崩。 这也引出了论文里一个挺有意思的概念:Semantic State Space Model。 未来长时 Agent 也许不需要维护一条越来越长的聊天记录,而是持续维护一个小而清晰的「当前状态」,执行一步,再更新一次。 长 context 当然有价值,但很多 Agent 任务真正需要的,可能是更好的状态管理和按需检索。 把所有历史一直带在身上,未必是最好的长期记忆方式。 📎 arxiv:
Show more
0
0
12
233
31
Forward to community
Most Popular Users
Tibo
@thsottiaux
1M Followers
FinancialJuice
@financialjuice
959K Followers
First Squawk
@FirstSquawk
579.6K Followers
Binance Wallet
@BinanceWallet
2.8M Followers
Serenity
@aleabitoreddit
1.1M Followers
LiveSquawk
@LiveSquawk
504.2K Followers
Binance
@binance
16.1M Followers
ClaudeDevs
@ClaudeDevs
830.7K Followers
CNBC
@CNBC
6.3M Followers
Seeking Alpha
@SeekingAlpha
348.2K Followers
New York Post
@nypost
4.3M Followers
The Wall Street Journal
@WSJ
22.3M Followers
TheStreet
@TheStreet
1.2M Followers
Boris Cherny
@bcherny
640.9K Followers
Thariq
@trq212
404.2K Followers