注册并分享邀请链接,可获得视频播放与邀请奖励。

搜索结果 LongContext
LongContext 贴吧
一个关键词就是一个贴吧,路径全站唯一。
创建贴吧
用户
未找到
包含 LongContext 的推特
你是否需要很长的上下文? NVIDIA 新论文标题给了一种答案:《You don't need long context》。 现在模型的 context window 越做越长,128K、256K、1M 已经很常见。 但论文先指出一个很现实的问题:context 越长,后面的 token 越贵。 在他们测试的开放模型上,256K context 相比 16K,每个输出 token 的推理成本高出约 3.6–7 倍。 作者于是做了一件很简单的事: 让 Agent 定期「压缩」自己的工作状态。 对话变长以后,把当前进度、关键发现和下一步计划总结成一个更短的 semantic state,再从新的 context 继续执行。 原始历史依然可以保存,需要时再选择性读取;模型没必要每一步都把全部历史重新塞进 context。 结果在 6 个长时任务上,Claude Opus 4.5 和 GPT-5.6 Sol 即使把 context 压到很短,整体准确率依然基本保持稳定;估算推理成本分别最高降低约 8.8× 和 5×。 他们甚至测试了一个更极端的版本: Agent 每执行一个动作,就重新压缩一次 context。 性能依然没有崩。 这也引出了论文里一个挺有意思的概念:Semantic State Space Model。 未来长时 Agent 也许不需要维护一条越来越长的聊天记录,而是持续维护一个小而清晰的「当前状态」,执行一步,再更新一次。 长 context 当然有价值,但很多 Agent 任务真正需要的,可能是更好的状态管理和按需检索。 把所有历史一直带在身上,未必是最好的长期记忆方式。 📎 arxiv:
显示更多
0
12
233
31
转发到社区
卧槽,Anthropic 2021年就在讨论这些了吗? 这是 Anthropic 2021 年 7 月的研究路线图,在 Bartz 版权案里被当作证据公开了,读完有点震撼。 - 顶层目标就是 AGI,落到具体是做一个能对话的 AI 助手,写函数、找 bug、设计 API、聊代码风格,“具备一个软件工程师同事的全部能力” - 训练 1T 及以上的模型,用自动奖励 + 人类反馈做 RL 微调,那时 GPT-3 也才 175B - 硬件 de-risk:TPU、Trainium,为 compute deals 做准备;最值钱的资产是模型权重,要加强安全 - 数据:language、code、diffs、PRs、debugging,拿 diffs 和 PRs 去 finetune,"把人的意图和模型行为连起来" - long context 和 memory,批注里还提了三种 memory 方案:periodic batched backprop、soft database lookup、skeletonization - reward model 的鲁棒性,对齐的 scaling law - 单独一节 RL for Tool Use,先在 search 和 printf debugging 上看到 signs of life - 批注区 Dario 有一句:"Yep. Basically the code editor." 每一个词现在看都不吃惊。但 2021 年 7 月,GPT-3 还是天花板,Copilot 预览版刚出两周,这些东西全部同时出现在一份文档里。人的认知差距,真的可以跨这么多年。 其他同时公开的还有 《Concise Research Roadmap》(简明研究路线图) 《Product visions for early 2025》(2025 年初产品愿景):写于 2023 年 6 月,讨论 Claude 未来可能的用途。 《Responsible Scaling as a Framework for Anthropic》(以负责任扩展作为 Anthropic 的框架):讨论 RSP(负责任扩展政策),以及 Anthropic 为什么要持续扩展模型能力
显示更多
给 LLM Agent 堆越花哨的"记忆"架构,效果不一定越好。一篇新论文实测了 12 个记忆系统,没有通用赢家。 它把 Agent 记忆当成数据库来拆——表示与存储、抽取、检索与路由、维护四个模块,拉来 Mem0、Letta、Zep、Cognee、MemOS、MemTree、A-MEM、LightMem 等 12 个系统,外加 Long Context 和 Embedding RAG 两个基线,跑 5 类负载、11 个数据集。 几个反直觉的点: 1)在数据库操作类任务 DB-Bench 上,裸的 Long Context(48.20 EM)和最朴素的 MemoChat 反而赢过一众精致记忆系统。强记忆看的是它对主导瓶颈的对齐程度,而不是用了多花哨的表示。 2)检索的关键是怎么组织证据供后续重建,而不是把最相关那条排第一。证据拉远时图/层级结构碾压扁平:A-MEM Recall@10 达 85.9,而 Embedding RAG 的 Answer-F1 从 37.1 断崖跌到 7.4。 3)成本由"维护范围"而非"结构本身"决定,局部维护远胜全局重组。LongBench 上 LightMem 稳在 17.3 秒,而做全局协调的 Mem0/MemoChat/MemoryOS/A-MEM 飙到 374~552 秒,20~30 倍延迟差。 4)别急着压缩:保留原文胜过摘要,压一压 Substring-EM 就从 26.0 掉到 10.7;抽取要保上下文(MemOS Fast 25.5 EM vs Fine 2.5);维护要保守整合,激进的延迟刷新反而把分数拉低。 还有个普遍毛病叫"过去的幻觉":事实更新后系统照样返回旧值。所以论文标题才会问,我们真的准备好迎接 Agent 原生的记忆系统了吗。
显示更多
0
42
250
55
转发到社区
硅谷的AI模型战争,目前主要在OpenAI和Anthropic之间?在最硬核、最前沿的Agent(智能体)执行力和长程规划(如网络安全渗透)方面,基本只有这两家的顶级模型能打。OpenAI的GPT-5.5 ,依然是“全能王”,在代码、数学和多模态整合(文字、声音、视频),上保持着极高的市场占有率和品牌统治力。 Anthropic的Mythos,走的是“精英安全”路线。目前的行业数据显示,在新业务合同(尤其是金融、法律等对安全和上下文窗口要求极高的领域)中,Anthropic已经拿下了近70%的新份额,成为了OpenAI最大的威胁。OpenAI和Anthropic确实是硅谷最核心的双雄,但2026年的战况比以往更复杂。 Google的Gemini 3.1 Pro依然统治着长上下文(Long Context)领域,其2M甚至更高的上下文窗口在处理海量文档分析时仍有护城河。Meta的Llama 4的开源力量不容小觑。由于其推理成本极低且可私有化部署,大量不希望被闭源模型“绑架”的企业正在流向Meta的阵营。 亚洲金融(@AsiaFinance)分析,GPT-4o等老模型仅能处理基础侦察。现在的焦点已不再单纯是“谁更聪明”,而是“谁更便宜”。Perplexity等公司正证明,利用这些大模型可以实现极高的营收人效比(高营收、极低员人数)。随着Token消耗增加,AI的长程规划和复杂攻击链路能力呈指数级增长。网络安全攻防的逻辑正在被彻底重写。
显示更多
推荐这篇文章,LangChain Deep Agents v0.7 发布。 他们把默认的基础指令砍掉了一大半,跑完全部 eval 性能不变。 LangChain 在 7 月 29 日发布了 Deep Agents v0.7。这次更新的核心是把 harness 变薄——基础输入 token 减少 65%(约 6K → 2K),性能不变。 三条瘦身策略 删掉基础 system prompt。 Deep Agents 之前内置了一个通用指南和工具使用说明的 system prompt。v0.7 把它整个砍掉了。 工具描述精简 43%。 内置工具的描述文本被压缩了近一半。 Todo 列表默认关闭。 TodoListMiddleware 不再是默认开启。跨三类 eval(自主任务、多轮对话、长上下文)× 四模型(GPT-5.6 Luna、Gemini 3.6 Flash、Claude Sonnet 4.6、Claude Opus 4.8)的评测显示,关闭 todo 后奖励略优、成本更低。不过有三类场景仍然值得打开:长多步任务、能力较弱的模型、需要可见进度条的 UI 场景。 验证方法 LangChain 用了一个新的 eval 套件来做对照。三个基准类别:Autonomous(编码、数据分析端到端任务)、Conversational(多轮对话)、Long-context(长上下文检索推理)。v0.7 vs v0.6.12 矩阵跑下来,reward 整体持平,token 和成本多数下降。最显著的是 GPT-5.6 Luna:token -34%,成本 -15%,reward +4%。 Anthropic 的影响 博客里直接引用了 Anthropic 刚发的 Claude 5 模型的 context engineering 新规——Claude Code 的 system prompt 被砍掉了 80% 以上,coding eval 毫无下降。两条核心发现: • 接口比示例好。 好的 tool schema 教会模型怎么用工具,比过去流行的 few-shot examples 更有效——示例反而会收窄模型的探索范围。 • 不要重复。 在 system prompt 和工具描述里各说一遍同一个指令,不带来增益。 可配置性 v0.7 让覆盖内置中间件变成一等公民。传一个 middleware= 实例,同名的默认中间件会被原地替换而不是报错。一个实际例子:SummarizationMiddleware 默认在上下文窗口 85% 时用通用 prompt 做摘要——v0.7 可以把它换成: SummarizationMiddleware( model="fireworks:kimi-k3", trigger=("fraction", 0.5), # 50% 就开始摘要 summary_prompt="Summarize the conversation, keeping file paths and decisions verbatim...", ) 破坏性变更 • TodoListMiddleware 默认关闭(可 opt-in) • 移除了 v0.5 中废弃的 backend factories • delete 工具加入默认文件系统工具列表(可通过 allowlist 关闭) 原文: #DeepAgents# #LangChain# #AgentEngineering#
显示更多
🪧 AI 生图最怕写字,MOSS-Image-SFT 偏偏专治这个:成段的中英文长文本能清清楚楚渲进图里,每块字和物件摆在哪还能由你指定。 MOSS-Image-SFT 在 Hugging Face 上 379 个赞,10 月 19 日上了 Hugging Face 的热门趋势,对应的技术报告《MOSS-Image Technical Report》挂在 arXiv 2610.23374。 做海报、PPT 封面、流程图这类带字的图,用 AI 生图的流程一直是拧着的:模型能给你一个像样的背景和构图,文字部分基本指望不上,缺笔画、糊成一团,中文更惨,最后还是得拖进设计软件里重新排一遍字。MOSS-Image 这一代就是冲这个场景做的,从零训了一个 50 亿参数的单流扩散 Transformer,中英双语的长文本渲染和精确布局控制是它的主线。 控制方式给了三种,哪种顺手用哪种:直接写自然语言描述;给一串标签序列;或者干脆写一段 JSON,把文字位置和物体排布标清楚。团队还做了一个会揣摩意图的提示增强模块,提示写得糙一点也能帮你补上。 效果是官方自己测的,他们为此专门做了两个基准:长文本渲染的 LongLongTextBench 和端到端布局生成的 RealLayoutArena。按报告里的数字,前者平均文本覆盖率 96.3%,在开源模型里是最好的一档;后者的端到端系统比较里排第二。 SFT 这一版是在 MOSS-Image-Base 上微调来的,架构和推理流程跟 Base 完全一样,官方示例里它在文字分组和白板式排版上更干净、更有条理。许可证是 Apache 2.0,内置的 VAE 用的是 FLUX.2 small 解码器。 带字的图,终于不用出图之后再返工排一遍版了。 Hugging Face:
显示更多