가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.

Xudong Han
@Xudong07452910
PhD ing @ University of Sussex | LLM & AI Agents 🎓 AI Agent Product Development Sharing AI tech insights DM for collab 📩 vx: hxdflying
가입 November 2020
744 팔로잉 중    16.1K 팬
你是否需要很长的上下文? NVIDIA 新论文标题给了一种答案:《You don't need long context》。 现在模型的 context window 越做越长,128K、256K、1M 已经很常见。 但论文先指出一个很现实的问题:context 越长,后面的 token 越贵。 在他们测试的开放模型上,256K context 相比 16K,每个输出 token 的推理成本高出约 3.6–7 倍。 作者于是做了一件很简单的事: 让 Agent 定期「压缩」自己的工作状态。 对话变长以后,把当前进度、关键发现和下一步计划总结成一个更短的 semantic state,再从新的 context 继续执行。 原始历史依然可以保存,需要时再选择性读取;模型没必要每一步都把全部历史重新塞进 context。 结果在 6 个长时任务上,Claude Opus 4.5 和 GPT-5.6 Sol 即使把 context 压到很短,整体准确率依然基本保持稳定;估算推理成本分别最高降低约 8.8× 和 5×。 他们甚至测试了一个更极端的版本: Agent 每执行一个动作,就重新压缩一次 context。 性能依然没有崩。 这也引出了论文里一个挺有意思的概念:Semantic State Space Model。 未来长时 Agent 也许不需要维护一条越来越长的聊天记录,而是持续维护一个小而清晰的「当前状态」,执行一步,再更新一次。 长 context 当然有价值,但很多 Agent 任务真正需要的,可能是更好的状态管理和按需检索。 把所有历史一直带在身上,未必是最好的长期记忆方式。 📎 arxiv:
더 보기