你是否需要很长的上下文?
NVIDIA 新论文标题给了一种答案:《You don't need long context》。
现在模型的 context window 越做越长,128K、256K、1M 已经很常见。
但论文先指出一个很现实的问题:context 越长,后面的 token 越贵。
在他们测试的开放模型上,256K context 相比 16K,每个输出 token 的推理成本高出约 3.6–7 倍。
作者于是做了一件很简单的事:
让 Agent 定期「压缩」自己的工作状态。
对话变长以后,把当前进度、关键发现和下一步计划总结成一个更短的 semantic state,再从新的 context 继续执行。
原始历史依然可以保存,需要时再选择性读取;模型没必要每一步都把全部历史重新塞进 context。
结果在 6 个长时任务上,Claude Opus 4.5 和 GPT-5.6 Sol 即使把 context 压到很短,整体准确率依然基本保持稳定;估算推理成本分别最高降低约 8.8× 和 5×。
他们甚至测试了一个更极端的版本:
Agent 每执行一个动作,就重新压缩一次 context。
性能依然没有崩。
这也引出了论文里一个挺有意思的概念:Semantic State Space Model。
未来长时 Agent 也许不需要维护一条越来越长的聊天记录,而是持续维护一个小而清晰的「当前状态」,执行一步,再更新一次。
长 context 当然有价值,但很多 Agent 任务真正需要的,可能是更好的状态管理和按需检索。
把所有历史一直带在身上,未必是最好的长期记忆方式。
📎 arxiv:
顯示更多