註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

meng shao
@shao__meng
追踪 AI 前沿,精选解读一手技术资料 分享 Agent 构建与 AI Coding 实践,拆解 Agent 工程架构和细节、技术选型与企业应用案例 前 CTO|AI 技术顾问 · 企业培训 公众号 / 小红书:AI 启蒙小伙伴 合作请私信 📮
1.1K 正在關注    34.4K 粉絲
很抱歉耽误大家时间 -- 这句话是必要的礼貌 我会用后面的表现弥补 -- 这句话真的合理吗?怎么感觉特别油腻 😂
Fireworks 在 DeepSWE v1.1 上做了 113 个任务 × 18 个模型 × 每组 4 次 rollout 的全量交叉测试,共 2034 个 “模型-任务” 单元,然后构造一个 oracle 路由器来考察 “完美路由” 的上界 关键数字(配置 | 通过率 | 每任务成本): 最佳单模型(GPT-6 Astra)| 74.1% | $6.52 Oracle 路由(18 个模型)| 97.6% | $1.88 Oracle 路由(仅开源权重模型)| 90.3% | $1.45 完美路由比最强单模型高 23 个百分点,成本却不到三分之一;甚至只用开源模型做路由,就能反超全部闭源模型 16 个百分点。 由此展开三个发现: 1. 极少任务真的需要最贵的模型。 113 个任务中 94 个的最优选择是单价低于 $3 的模型;三个 $11.50 以上的顶级模型,只在 3 个任务上是“唯一最优”。固定用一个大模型,本质是在为每一项任务支付“通用能力”的保险费,而多数任务只需要其中一小部分能力。 2. 路由池不需要很大。 最佳双模型组合就比最佳单模型高 13.1 个百分点,三模型组合达 91.2%,从 3 个扩到 18 个只再涨 6.4 个百分点。这与 LLMRouterBench(33 模型、40 万+实例)的结论互相印证:价值来自能力互补的覆盖度,不是模型数量;未经精选的大池子增益有限。 3. 真正的难题是“预测哪个模型合适”。 这是最值得理解的一段。在严格的 pass@1 口径下,多个近期的路由研究(包括商业方案)都无法稳定击败简单基线,瓶颈在“模型召回”,池子里明明有合适的模型,路由器却识别不出来。作者甚至承认:坚持用一个熟悉的模型是理性策略,因为稳定的错误分布好过一个会不可预测地选错专家的路由器。路由要成立,前提是模型的专业化差异足够可预测。 产品落点:FireRouter · 路由≠省钱工具:如果模型真正互补,路由是沿能力曲线上移,而不只是沿成本曲线左移(省成本只是副产品)。 · 缓存感知:agentic 工作流中切换模型最大的隐性成本是丢弃已积累的上下文;FireRouter 说明切换不损失已付费的上下文。生产数据:4 周 2334 个内部编码会话,成本 $7.42 vs. 单用 Opus 5 的 $15.81,降 53%。
顯示更多
We ran 18 models across 113 real coding tasks on DeepSWE, then went back and asked a simple question: what if every task had routed to the model that handled it best? Answer: 97.6% solve rate at $1.88 per task, versus the best model at 74.1% at $6.52. The next frontier is a router. Full analysis:
顯示更多
Grok Bot 团队 Lauren @poteto 怎么做到在一个月内向生产环境交付 2500 个 PR? Lauren 的经验:把工程团队的经验、约束和验证能力沉淀为运行环境,使智能体在较少人工盯防下持续交付。 PR 数量是这套环境长期运行后呈现出的结果,而主线始终是如何建立“信任”。Lauren 将这种环境比作“米其林厨房”:人仍对产品结果负责,智能体则在经过设计的工具、流程和约束中完成大量具体工作。 Lauren 从一个真实的性能治理场景展开。Cursor 的 Agent 窗口快速迭代,PR 的进入速度超过人工逐条审查性能回归的能力。她曾手工使用 Chrome DevTools、性能 trace 和 heap snapshot 排查问题,随后将“运行应用、采集证据、定位热点、持续改善性能”编码给智能体。她把这一变化概括为:工程师本人曾经是吞吐瓶颈,团队需要把工程判断转化为可复用的环境能力。 由此形成一条清晰的规模化路径。少量智能体可以依靠人工持续校正;更大规模的并行工作需要可靠的行为边界。环境中的验证、代码结构、静态分析、规则和技能共同降低了每次交付所需的人类确认成本。高并发本身没有产生信任,可重复的证据链和更难犯错的系统结构才产生信任。 Lauren 给出四层能力 1. 直接验证 实现:Control Glass 让智能体经由 CLI 和 Chrome DevTools Protocol 运行应用、采集 trace 与 heap snapshot。 解决:用运行时证据确认功能和性能,避免只根据“能编译”或智能体自述下结论。 2. 任务记忆 实现:Feature map 把功能入口、键盘操作、DOM 交互和功能含义保存在代码库中。 解决:让智能体可以理解模糊的缺陷截图或内部反馈,并复现具体场景。 3. 工程 skills 实现:pstack 将调试、功能开发、原型、性能等经验写成 playbook 和 skills。 解决:将资深工程师的工作方式转为团队可复用的执行步骤。 4. 架构约束 实现:Dune 用目录约定、导入依赖图和线程边界限制可选路径。 解决:让“简单路径”同时成为正确路径,并在代码层面阻断已知反模式。 这里最有价值的区分是:验证回答“功能是否真的发生”,工程质量还需要由架构、性能约束和可维护性共同保证。 pstack 当前公开文档也将此原则写为“直接检查真实产物”,并要求对功能走完整链路、对委派工作检查实际 diff 或运行行为。 对工程组织的关键启示 1. 代码库正在成为智能体的“物化记忆” 把代码库视为智能体最强的上下文来源。智能体会延续已经读到的模式,因此良好结构会被持续复制,临时 workaround 也会被持续复制。Lauren 用“花园”描述这件事:团队需要及时清除会扩散的坏模式,并维护一条清晰的“paved path”。这是一种面向智能体时代的代码健康观,重点从“写下更多规范”转向“让规范体现为可执行结构”。 2. 纠错应优先沉淀到约束系统 Lauren 给出了一条由强到弱的纠错层级:代码库与架构、静态分析、规则与 BugBot、技能、人工风格审查。前两层具有更强的一致性和可执行性。每当人需要重复纠正某类行为,团队可以把经验固化为数据结构、依赖边界、lint 规则、测试或自动化检查。这样,下一次 Agent 执行任务时就能直接继承改进后的环境。 3. 自动化的价值在于形成闭环 末尾展示了“外环”和“内环”的组合。外环由 Grok Bot 连接 Slack、Datadog、Sentry、PlanetScale 等信息源,并基于事件触发任务;内环由 Cursor 自动化和 SDK 承担具体工程工作。演示中的目标链路是:缺陷报告进入系统,智能体自动复现,随后创建 PR。这个设计把反馈、诊断、修复和验证连接成闭环。
顯示更多
here's how i shipped 2,500 PRs last month to production this was originally supposed to be for Cursor Compile in London. i couldn't make it since i was livestreaming for Grok @Bot Galaxy so i'm making it available for free here on X! watch it on 2x speed, i talk slowly
顯示更多
Grok 4.7 发布,Cursor、Grok Build 和 Grok API 已可用,Grok Bot 呢? @bot 先把我的 Cursor 切到 Grok 4.7(非 Grok 模型额度用完了),坐等 Grok Bot 更新信息 Grok 4.7 相比 4.6 整体提升,价格不变,不过没看到特别显著的提升,继续等 Grok 4.8
顯示更多
Grok 4.7 is here. It's a notable improvement over Grok 4.6 at the same price and speed.
小米 @XiaomiMiMo 团队负责人 @_LuoFuli 公布 MiMo-V2.6 此前 MiMo 团队也公开了 RL 在线实时面板,按计算量计可能是开源团队迄今最大的单次 RL 训练,MiMo-V2.6 的评测表现也可称 SOTA,除 MiMo-V2.6 模型信息外,还罕见的公开了很多训练策略、系统细节、团队组织形式,她认为,RL scaling 的瓶颈一半在系统、一半在组织! 技术核心:MixRL 与 MOPD 不是二选一,是同一系统的两条管线 两条路线在 MiMo 系列里都真实存在过: · MixRL(多域混合联合 RL):把可验证、中等难度的任务(代码及相关 agentic 任务)放进同一个 RL run 联合训练。团队的实证结论是混合训练的泛化出奇地好。 · MOPD(Multi-Teacher On-Policy Distillation,多教师在线策略蒸馏):团队在 MiMo-V2-Flash 后训练中提出的能力整合方法,另有独立论文(在 Qwen3-30B-A3B 上系统对比过 Mix-RL、Cascade RL、参数合并等基线并胜出)。做法:各领域单独跑 RL 训出专家教师,再让主模型在自己的 rollout 上接受多教师的稠密 token 级信号,把能力蒸馏合并进来。 分工逻辑是工程约束,不是算法优劣:难验证、超长时程、主观评价信号的任务(游戏、3D 属此类)rollout 又慢又长,混进联合 run 会拉垮吞吐,或造成严重的 rollout staleness——异步 RL 中旧策略轨迹还没采完、中心策略已更新许多版,梯度信号失真。所以这类任务单独训练成教师,再经 MOPD 并回主模型。 “为什么你们能做 MixRL",前两个答案是技术性的,第三个是组织性的 团队扁平、没有部门墙,跨域联合训练 “对我们不难”。 她认为 MixRL 的真实门槛往往不在算法而在组织,同任务域的 reward 设计、环境、评测通常分属不同团队,联合 RL 要求日复一日的跨域协作。“RL 每日例会、智能实时涌现” 正是大规模 RL run 的典型管理形态:这种 run 会在成千上万个细节处失败(reward hacking、环境 bug、异步过期、熵坍缩),必须维持日级的发现-修复节奏。RL scaling 的瓶颈一半在系统、一半在组织。 开源三件套:交出完整的 Agentic RL 研究闭环 · 从 MiMo RL 轨迹蒸馏的 Qwen 模型:解决社区冷启动,起点太低时,小规模 RL 实验做不出有意义的结果;选 Qwen 底座而非自家架构,明显是为了接入最普及的生态。 · 7K 个多样化环境:Agentic RL 当前最稀缺的资产是环境,不是算法。 · 完整 RL 训练框架:抹平训练系统工程的门槛。 起点(模型)+ 问题(环境)+ 基建(框架)= 完整研究 loop。生态意图比单独开源权重更进一步:让社区能在可复现的真实条件下研究 Agentic RL,不只在玩具设置里打转。
顯示更多
MiMo-V2.6: The Hard Road to Scaling Up RL MiMo-V2.6 is very likely one of the largest single RL runs, by compute, that any open-source model team has undertaken to date. In an era when compute is brutally scarce, we still chose to dedicate a team of several dozen people to one goal over an extended period: scaling up RL. That takes more than research conviction. It takes a vision for AGI, respect for the unknown, and the nerve to walk straight into the hardest problems. The result is a model whose potential was built through mid-training and unlocked through heavy RL. Today, it is the number one open-source model. I strongly recommend reading the technical report. I believe it will become one of those papers that Agent RL practitioners keep reopening and discovering something new in each time. In my view, the research innovations and engineering challenges behind it surpass those of DeepSeek R1, which I was partly involved in. Some will ask: why MixRL instead of MOPD? First, they are not competing choices. We ran MixRL on verifiable tasks of moderate difficulty, including code and related agentic tasks, and found that the resulting models generalize remarkably well. Second, tasks that are difficult to verify, extremely long-horizon, or simply too challenging to include in a joint RL run are trained separately. Including them would substantially reduce rollout efficiency or introduce significant rollout staleness. We then merge the resulting capabilities through MOPD. Games, 3D tasks, and tasks with subjective evaluation signals all fall into this category. There is also a third, slightly cheeky answer. Our team is flat enough and free enough of organizational silos that MixRL simply is not difficult for us. More importantly, everyone enjoys working this way. People from different domains come together every day, driven by the pursuit of AGI and intelligence that can continuously improve itself, to confront and resolve the RL bottlenecks in each field. I will always remember the RL daily update meetings from this period. They were intense and dense, with intelligence emerging in real time. To help the open-source community focus on solving real Agentic RL problems, we have released a Qwen model distilled from MiMo RL trajectories as a stronger starting point for RL, along with 7K diverse environments and a complete RL training framework. We hope these resources will help move Agentic RL research forward. MiMo-V2.6 is only the beginning. In an era when intelligence is easy to replicate, we still choose the hard road toward self-improvement and AGI. Much of what lies ahead remains unknown. But we are willing to keep investing the time, compute, and passion required to take on one hard problem after another and work each of them all the way through, until intelligence crosses into a new regime.
顯示更多
InstructGPT 的共同作者、RLHF 的主要参与者,如今却认为:ChatGPT 的成功让全行业“丢掉了所有其他模型形态”,只剩自回归聊天这一条路! TypeSafe CEO @CompleteSkeptic 参加 @latentspacepod 播客,与 @swyx 进行了 140 多分钟深度讨论,讲述了他为什么离开 OpenAI 创立 TypeSafe AI,推出不聊天、不写文本、专为代码消费而生的 “System One 模型” Jev,用新训练范式 RLCD 追求“intelligence per dollar”,直指当前 AI 最刺眼的悖论:模型能解千禧年数学难题,却自动化不了最普通的日常工作! System One Model: 让代码成为消费者 借 Kahneman 的双系统框架,Jev 定位为 System 1 模型:不生成文本、不写代码、不对话,快速给出嵌入程序流的、带校准概率的小型判断,他称之为“聪明的 if 语句”。官方文档明确:Jev 不做 Claude Code / Cursor 背后 LLM 的替代品,是要承担智能体和软件内部的结构化决策。 RLCD: 第三个北极星 RLCD (Reinforcement Learning for Calibrated Decisions,校准决策强化学习) 是未发表的核心方法。关键不是算法是目标函数,RLHF 的北极星是“指令遵循”,RLVR 是“可验证难题”,RLCD 是“program in the loop”:在 System One 任务上给出认识论上诚实的概率。校准意味着预测 0.8 的事件真的在约 80% 的情况下发生,概率由此变成软件可调用的接口,可设阈值、可决定何时升级人工。 Diogo 对 RLHF 的批判相当技术化:偏好优化导致模式坍缩 (如同 GAN 丢弃少数模式、日趋保守),且“校准对字符串的概率分布是彻底的毒药”,这就是文本模型做不好决策的原因。有趣的是,他以此回应 LeCun 的 “LLM 必然因误差累积而失败” 论:“数学上显然,但经验上不成立”,因为保守化、坍缩后的模型恰恰避开了理论预测的误差累积。RLVR 则 “加剧了参差智能”,解题更强却更难嵌入其他软件。 两个昂贵的反共识决策 · 拒绝公开基准:“极易被博弈”;当年“每个实验室都有团队在收集长得像 MMLU 的数据”,那只是“带额外步骤的基准测试”。替代方案是“凭氛围与信任,直到放进真实工作流里评估”。内部 eval 则把“不自欺”当作最高优先级。这个立场曾让融资处处碰壁,他拒绝妥协:“奖励坏演员的事我不干。” · API 层不做拒绝:拒绝在消费级聊天里合理,但对软件依赖是类型错误。他区分“安全对齐”(听实验室的话)与“能力对齐”(听用户的话),并直言前者“是指令遵循的反面”。类比数据库:智能不应审查自己的使用方式;在技术层“把拇指压上秤会割裂智能”,每一次强制过拟合都在侵蚀通用性。 数据实验室,不是模型实验室:10 亿美元也不预训练 “你优化什么,就得到什么,而且最重要的部分根本不是 ML。”他视 scaling laws 为“指数级资源换次线性收益”的坏投资,除非收益极其宝贵。TypeSafe 自我定位为 data lab 而非 model lab,数据全部合成,由“有品味的人”像艺术家一样找到认知核心的参差点并“手术式”修补,他正在“无限量招聘数据人才”。为留在 intelligence/$ 的帕累托前沿,他们“做尽恶心的事”,自称“模型的弗兰肯斯坦”。模型命名 Jev 正是 Jevons 悖论:智能越便宜,总消耗反而越大,他的赌注是廉价智能将引发软件业的“淘金热”,重回“早期互联网的能量”。 对软件与编码智能体的意义 · 方法论:把工作流拆解为大量“小而可测的决策”,每个失败变成永久的测试用例,“软件不会像 prompt 那样因上下文腐烂而遗忘”。他称之为 "ML without the ML"。 · Inverse SaaS-pocalypse: AI 将“像 regex 一样不起眼地”消失进软件内部,成为每个程序员可调用的语义判断原语。 · 编码智能体:他后续发表 "Tyranny of the KV Cache" 一文,主张 "Cache Rules Everything",上下文缓存经济决定智能体架构 (压缩工具调用、共享状态、sub-agents),并在单一模型架构上展望多智能体未来。 · 落地用例:意图路由、置信度分流、rubric 评分、实体消解(暗数据)、代码 lint、分析回放,甚至有人在 Jev 之上构建编程语言(他最爱的用例)。
顯示更多
Jev and the System One Model: RLCD, intelligence/$, reliable AI, & the end of chat-first AI @typesafeai CEO @CompleteSkeptic explains why AI can solve extraordinarily hard problems yet still fail to automate basic work, why Jev is built for reliable decisions inside software instead of chat, why TypeSafe rejects public benchmarks and refusals at the API layer, why data and the right task matter more than brute-force compute, how System One Models could reshape coding agents and software, and why even with $1 billion he wouldn’t pre-train a model from scratch.
顯示更多
TypeSafe CEO @CompleteSkeptic : 为什么还要再造一个 coding agent ? Diogo 核心想法是一个反事实思想实验:如果 LLM 没有 KV cache,你会怎么设计 coding agent? 原因是:今天 agent 的许多“标准特性”并非源于用户价值,是为绕过 KV cache 与按 token 计费的成本结构而打的补丁。用这个视角审计,才能分清哪些是真设计、哪些是“被 KV cache 限制”的产物。 前提假设:coding agent 出奇地简单(agentic 部分本质是 while loop + 少量工具),创新空间在“非 agent 部分”,包括状态、上下文、成本管理;模型、UI、开源实现皆可复用,第一方 agent 的成本优势在缩小;而有些事只有原生 agent 能做,这是做新 agent 的理由。 # KV cache 造成的六个怪象 1. 按难度路由在经济上不成立。算个账:以 Opus(输入 5 / 输出 25)、Sonnet(3 / 15)计价,X = 上下文 token,Y = 生成输出,Z = 输出中额外生成的 token(命令、读文件等);全程 Opus 成本 25Y + 5Z,Sonnet 开路再回 Opus 成本 3X + 20Y + 8Z。只要 X 大(长会话)或 Z 超过 Y 的约 1.67 倍,第二条就更贵;按 Diogo 给的比例(X=0.65, Y=0.12, Z=0.23),全程 Opus 只要路由方案 2/3 的钱。直觉盲区在于:cache 按模型隔离,小模型读大模型的上下文要全价,回到大模型时,中途产生的每个 token 还要按输入价再付一遍。 2. 工具调用是奇怪的权衡:工具必须 upfront 声明在系统消息里却并非都相关,调用时还得把参数说清楚;既吃上下文,模型又不擅长“高基数 × off-policy”的工具调用。作者认为这正是 skills(渐进式披露)反而好用的原因。 3. compaction 的存在很可疑:它隐含假设“未来所有 turn 都想要同一份共享状态”。但压缩本身极难,且注定不如“查询感知的压缩”,知道要找什么时,压缩容易得多。 4. 子 agent 能力参差:作者惊讶模型不做自动并行,怀疑卡点在“状态交接”,传什么进去、合并什么回来。 5. 重启的存在:仅在“agent 有状态且状态会腐坏”的前提下合理;另一种思路是按需即时加载全部相关旧状态。 6. 开箱即用之争:agent 要不要内置大量现成能力(工具、文档、工作流);一端是 openclaw 式的“全都给你配好”,另一端是 Claude Code/Codex 式的“只给骨架,其余自己搭”。 # TypeSafe 的解法:显式状态 + 按查询动态重建上下文 Diogo 主张 “TypeSafe-centric” 设计,把“一切都在上下文里”当作显式不变量,但对每一次用户查询重新计算上下文(他称之为 “meta-attention”): · 给每个上下文 chunk(工具输入/输出、内部推理、用户对话)打相关性标签,未来细化为“不显示 / 小摘要 / 长摘要 / 全文”的分级; · 对“复用现有 KV cache vs 从零重建”做成本感知决策,这是让路由在经济上成立的前提; · “上下文是静态的”这一假设被彻底移除。 由此解锁四件事: · 成本/智能感知路由:上下文重建变便宜后,简单任务路由到便宜/快的模型才真正划算;顺带可以把“多花钱换好/快”与“尽量省”做成给用户的旋钮。 · 子 agent:作者猜当前子 agent 的主要成本就是“搞清传什么状态”,这件事变便宜、自动化之后,子 agent 才值得大规模用。 · Skills/MCP/工具调用的第一性原理重设计:一个中间层始终只放一行“方向性描述”(模型得先知道某个动作可能存在),完整 schema 按需加载(类似 Anthropic 的 tool search)。若上下文不被污染,就能以近零成本内置海量电池(数百工具 + 数千文档),既是产品力也是联合营销杠杆。 · 条件化 AGENTS.md:按条件动态加载(前端工作→风格指南;某子目录→gotchas 文件)。与 skills 的区别是“常驻记忆”而非“立即执行”,且应免疫于 compaction(skill 加载后又遭压缩,大概率被摘要掉)。 半熟的激进构想 · 后台只读任务:近期热门工作流(并行 HTML、后台建 eval、ELI5)的共同点是“后台运行 + 对代码库只读”。与显式状态的协同点:一次代码变更的相关信息检索可在多个后台任务间共享、摊薄成本。作者认为“显式读写状态”是这里的超能力来源;现成样板是 cross-model review(让 codex 审 claude 的活)。 · 安全感知路由:便宜模型(如 DeepSeek V4)+ 数据外泄疑虑 → 给任务按“可能触碰的文件类型”打标、按类型定策略,把低敏感查询路由到便宜模型;推广开还有其他回避逻辑(LLM 研究不用 Anthropic,安全敏感不用 OpenAI/Anthropic)。 · 其余零散想法:结构化 skills(可编程 harness + hooks)、递归语言模型(显式变量即状态)、花式摘要(对 grep 输出做相关性热力图再按需裁剪)、极端并行(需要锁与同步原语)、给 hype 项目(headroom/rtk 等)做适配。 · 点名了一批可集成/改进的工具(headroom、rtk、ast-grep、ast-outline、fastcontext、fff),并引了一个数据:某轨迹分析中读+搜索占工具调用轮次的 56.2%、主 agent token 的 46.5%,若可泛化,“用结构化检索替代子 agent 搜索”是最大的效率杠杆。
顯示更多
0
7
43
10
轉發到社區
腾讯团队开源发布会"预演"的记忆系统「T-Mem」 当前四代长期记忆架构:Flat RAG、图结构记忆(GraphRAG、Zep、HyperMem)、agentic 层级记忆(Mem0、A-Mem、MemoryBank)、操作系统式记忆内核(MemGPT、MemOS、MIRIX),虽然结构各异,但检索配方却完全相同:把查询和存储内容投进同一个相似度空间(BM25 或稠密向量),取 top-K。这决定了一件事:记忆的"可达性"被相似度封顶。 论文: 开源项目: # 现在的问题是什么? 现有记忆架构的检索配方只覆盖一半情形。当查询与记忆共享表面特征时(同样的措辞、同一个实体、同一个时间地点)它工作良好,这就是描述性召回。但长对话里还有同样常见的另一半:查询与记忆零表面重合,绑定二者的只有一条潜在的语义弧,比如因果关系、同一情境的延续。这是联想性召回。比如:一个月前用户说过"团队里有人严重海鲜过敏",今天问"今晚团队去哪儿吃饭",两句话没有任何词汇重合,前者却恰恰是后者的必答依据。长对话中的用户极少用原措辞重提旧话题,而借新情境的间接线索回访记忆;表面形式已经漂远的目标,永远无法从同一个相似度邻域里到达。 把"粒度"(单条事实 / 完整对话段)和"取向"(描述性 / 联想性)作为两个正交轴,就得到 2×2 检索设计空间。论文指出,现有系统全部挤在第一、第四象限(描述性的一半),第二、第三象限,联想性的一半,是这套检索配方的结构性盲区。也是腾讯这篇论文的基础。 # 核心思想:把"预演"放在写入时 T-Mem 的答案借自认知科学。人在回忆过去时,会为未来的线索预演经验,这叫"情景未来思维"。它的工程对应物就是 trigger:写入记忆时,由构建用的大模型离线算好并随宿主存放的一条预测,"这条记忆会在什么情境下重新变得重要"。 trigger 的架构意义在于解耦了两件事:一条记忆"如何被到达"和"什么算答案证据"。当相似度找不到宿主时,查询仍可以经由宿主的某条 trigger 命中它。每条记忆因此同时保有描述性入口和联想性入口。四个 trigger 家族各占设计空间的一个象限: · Entity Trigger(第一象限,事实×描述):给原子事实一个上位概念名。"海鲜过敏"的实体触发器可能落在"饮食限制"上。 · Bridge Trigger(第二象限,事实×联想):把事实投射到一个"知道它就会有用"的具体情境,并附一步推理的理由。过敏事实投射到"为团队晚餐选餐厅"。这是纯联想轴,相似度检索完全无法覆盖。 · Scene Trigger(第四象限,场景×描述):从情境、对象、事件、情绪四个正交属性各用一句话描述当前场景。 · Horizon Trigger(第三象限,场景×联想):把同一场景投射到一组前瞻维度,让未来的查询从相关但不同的情境接近时仍能命中它。 其中 Entity 和 Scene 服务的是相似度检索已经覆盖的那一半,Bridge 和 Horizon 才是填补盲区的两族。 # 结构与流程 记忆被组织成五类对象的类型化图:scene(按事件闭合切分的连贯对话段,作为证据)、item(从 scene 抽取的原子事实,可锚定到多个源 scene 以承载跨场景的逻辑链)、topic 标签(只用于限定抽取范围和检索预过滤,明确不进入问答通道)、四族 trigger(只参与检索,永不出现在证据里),以及按说话人聚合的 persona(作为环境上下文附在证据之后,不占用检索预算)。三条设计承诺:证据层按类型隔离、topic 不污染问答、trigger 不进入证据路径。 构建是四阶段离线流水线,顺序承重:按事件闭合(而非会话边界,会话边界是数据采集的副产品,一个会话可含多个事件、一个事件可跨多个会话)切分 scene;按到达顺序做 topic 归组,一个 scene 可加入多个 topic;每个 topic 一次抽取,同时产出原子 item 和跨场景连接 item;最后逐节点生成 trigger,Entity 与 Bridge 在同一次模型调用中产出。 检索是自上而下的 topic→scene→item 三级瀑布,每层用 RRF 融合词法与稠密排序。最关键的一处工程细节是:经由任一 trigger 到达的 scene 和 item 不受 topic 预过滤的闸门约束。预过滤本质是基于相似度的邻域测试,而 Bridge 和 Horizon 恰恰是为邻域之外的线索设计的;让它们过闸,等于把 T-Mem 自己要对抗的相似度体制重新加回来。item 级 trigger 召回另带 0.85 的硬余弦阈值。trigger 索引采用多视图编码:每个 item 暴露纯概念、纯桥接、联合(概念∥桥接∥理由)三个视图,取跨视图的最大余弦分并归属到宿主。整套检索在 CPU 上即可完成,单台无 GPU 工作站可复现全部评测。 # 实验结果 LoCoMo 官方协议下,T-Mem 总准确率 80.26%,超最强基线 HyperMem(官方协议复跑值 77.01%)3.25 个点,token F1 51.96 同向;分题型为单跳 85.97、多跳 69.15、时间 82.55、开放域 55.21,其中开放域以 0.69 点惜败 MemOS,是唯一未拿第一的题型。 真正的分水岭在 LoCoMo-Plus 的 Cognitive 子集(专门剥离词汇重合、探测纯联想召回的题目):T-Mem 74.81%,HyperMem 48.63%,MemOS 32.67%,GPT-4o 直接读完整对话原文零样本也只有 21.05%,Gemini-2.5-Pro 为 26.06%。跨基准落差方面,T-Mem 只掉 5.45 个点,其余系统掉 28.38 到 50.07 个点;连 GPT-4o 吃下全部原文也掉 45 个点,说明骨干模型的规模救不了联想轴的断裂。作者自己划的重点是:跨基准落差而非单榜绝对分才是这项工作的 headline。 消融实验是全文最有信息量的部分,且信息不在总分而在两列的不对称。描述轴组件(scene 层、item 通道、Entity+Bridge、persona、topic 过滤)在 LoCoMo 上各值 1.4 到 4.7 个点,在 LoCoMo-Plus 上却只值 0.25 到 2.99 个点;联想轴组件完全反过来,去掉 Horizon Trigger,LoCoMo 只动 0.08 个点,LoCoMo-Plus 塌 12.47 个点,两个场景级 trigger 一起去掉塌 22.19 个点,是任一描述轴开关影响力的七倍以上。这条不对称本身就是论证:只按相似度基准调优的系统,隐含地就在优化"待在相似度邻域之内",而邻域之外的成本,这类基准在构造上就测不到。 效率上,构建是一次性离线成本:10 段 LoCoMo 对话共 9,689 次构建模型调用、15.60M token,高于 Mem0 的 12.20M,作者把增量明确归给 Bridge 和 Horizon 两族联想 trigger,称之为扩展联想轴的价格。答题时的 token 预算低于 HyperMem 的同时两个基准都更准;低 token 阵营(Mem0、Zep、MemOS)在 LoCoMo-Plus 上直接崩盘。
顯示更多
0
3
82
27
轉發到社區
Hugging Face 推出的新 SOTA 分词库「tokenizers v1」:在 token IDs 与 API 完全不变的前提下,面向全语言将编码提速 3–30 倍、解码提速 5.4–8.8 倍,八线程保持 76% 线性扩展,并借 crate 拆分做到更小的包体积与内存占用 tokenizers v1: 前置知识:四阶段流水线 tokenizers v1 没有改变分词的算法框架,仍是四段式: 规范化(如小写化、Unicode 归一) → 预切分(切成 pre-token) → 模型层(pre-token 映射为 ID; BPE 反复合并相邻的最高优先级 pair, 且合并永不跨越 pre-token 边界) → 后处理(special tokens) # 本次重构的三项核心技术 1. bitcannon 用 SIMD 位流替代正则引擎(2.1 the split) 预切分用的正则是模型的固定参数,既然模式已知,就没必要在运行时跑一个通用正则引擎。bitcannon 把输入字节视作并行位流,每条寄存器操作处理 64 字节(SIMD),思想承自 Parabix 和 simdjson。它覆盖 GPT-2、cl100k、o200k、Tekken、DeepSeek 五种切分模式;不认识的模式自动回退到正则,这也是各家族提速幅度差异较大的原因。 2. word cache 利用 BPE 的确定性(2.2) BPE 对同一 pre-token 的结果是确定的,因此用线程本地缓存把 pre-token 字节映射到 token IDs,重复出现的词完全跳过合并计算。代价是:输入中重复很少时,查表开销得不到回报。它对 Agent 场景尤其有效,真实 agent trace 中大量请求共享相同前缀,缓存命中率天然高。 3. merge loop 零分配 + 无分支(2.3) 四个手段叠加:复用调用方提供的 scratch 缓冲区(消除每次调用的堆分配);符号存于按位置链接的扁平数组(替代链表);多个 pre-token 打包进一次模型调用;每个候选 pair 连同 merge 优先级打包进单个 64 位整数(优先级占高位),使“找下一个该合并谁”变成无分支的整数比较。 这三项技术分别对应三个不同层面的成本:控制流(byte cannon 消灭正则回溯)、重复计算(word cache 消灭冗余合并)、内存与分支(merge loop 消灭分配和分支预测失败)。组合起来才是“几十倍”的来源,单独任何一项都做不到。
顯示更多
Happy to officially bring you the new SOTA `tokenization` library. We focused on all languages, multi-thread scaling, minimal package size and memory usage. We're thankful for the players of this ecosystem that have pushed us to give the best we could!
顯示更多
Hugging Face 推出的新 SOTA 分词库「tokenizers v1」:在 token IDs 与 API 完全不变的前提下,面向全语言将编码提速 3–30 倍、解码提速 5.4–8.8 倍,八线程保持 76% 线性扩展,并借 crate 拆分做到更小的包体积与内存占用 tokenizers v1: 前置知识:四阶段流水线 tokenizers v1 没有改变分词的算法框架,仍是四段式: 规范化(如小写化、Unicode 归一) → 预切分(切成 pre-token) → 模型层(pre-token 映射为 ID; BPE 反复合并相邻的最高优先级 pair, 且合并永不跨越 pre-token 边界) → 后处理(special tokens) # 本次重构的三项核心技术 1. bitcannon 用 SIMD 位流替代正则引擎(2.1 the split) 预切分用的正则是模型的固定参数,既然模式已知,就没必要在运行时跑一个通用正则引擎。bitcannon 把输入字节视作并行位流,每条寄存器操作处理 64 字节(SIMD),思想承自 Parabix 和 simdjson。它覆盖 GPT-2、cl100k、o200k、Tekken、DeepSeek 五种切分模式;不认识的模式自动回退到正则,这也是各家族提速幅度差异较大的原因。 2. word cache 利用 BPE 的确定性(2.2) BPE 对同一 pre-token 的结果是确定的,因此用线程本地缓存把 pre-token 字节映射到 token IDs,重复出现的词完全跳过合并计算。代价是:输入中重复很少时,查表开销得不到回报。它对 Agent 场景尤其有效,真实 agent trace 中大量请求共享相同前缀,缓存命中率天然高。 3. merge loop 零分配 + 无分支(2.3) 四个手段叠加:复用调用方提供的 scratch 缓冲区(消除每次调用的堆分配);符号存于按位置链接的扁平数组(替代链表);多个 pre-token 打包进一次模型调用;每个候选 pair 连同 merge 优先级打包进单个 64 位整数(优先级占高位),使“找下一个该合并谁”变成无分支的整数比较。 这三项技术分别对应三个不同层面的成本:控制流(byte cannon 消灭正则回溯)、重复计算(word cache 消灭冗余合并)、内存与分支(merge loop 消灭分配和分支预测失败)。组合起来才是“几十倍”的来源,单独任何一项都做不到。
顯示更多
Happy to officially bring you the new SOTA `tokenization` library. We focused on all languages, multi-thread scaling, minimal package size and memory usage. We're thankful for the players of this ecosystem that have pushed us to give the best we could!
顯示更多
Qwen-Image-2.1 这个只有 7B 参数的生成 + 编辑 + 透明通道三合一开源模型,兼顾平衡性和性价比,图像模型领域可能要进入一个新阶段了。btw... 还有人记得大明湖畔的 🍌 吗 😂 # 四个主要能力 原生透明图生成/编辑:可直接从文本生成带 alpha 通道的 RGBA 图层、编辑透明图内文字、从照片中“抠出”主体。对电商素材、贴纸设计、合成工作流是刚需级功能,此前通常需要“生成模型 + 抠图模型 + 局部重绘”多条管线串联。 最多 10 张参考图的高保真编辑:支持圆圈标注、涂画标记、独立 mask 三种局部控制方式,并强调人像与商品的 identity 保持。参考图数量上限在开源模型中属于第一梯队,直接对标闭源编辑服务(如 GPT-Image 系列的参考图能力)。 质感与排版:文字渲染、人像光影、真实纹理的定性提升;这是 Qwen-Image 系列一贯的传统强项(中文文字渲染尤其如此)。 工程效率:除 KV 缓存外,还提供 CUDA Graph、FP8 量化、TP/Ulysses 并行等 vLLM 部署选项,并适配 8 种芯片平台(含 AMD ROCm 和多款国产芯片),明显在为大规模低成本推理铺路。 # 架构:几处关键设计值得关注 7B 单流 DiT(Single-Stream DiT):相比前代分离式的文生图(Qwen-Image)和编辑(Qwen-Image-Edit)双模型布局,2.1 把生成与编辑统一进一个 32 层的 Transformer,训练和部署成本都更低。 块因果注意力(Block-Causal Attention):文本 token 走因果掩码、图像 chunk 走双向掩码的混合粒度设计。这带来一个实用收益;Prefix KV Cache:条件图和文本只需在第一个去噪步算一次,后续 39 步直接复用缓存。在最多 10 张参考图的多图编辑场景下,这是推理提速的主要来源。 64 通道 RGBA 自编码器:VAE 在 latent 空间原生携带透明通道。透明能力不是后处理抠图,而是模型“生下来就会”的,这是与多数竞品的本质差异。 Qwen3-VL 8B 作为文本编码器:文本指令和条件图由同一个视觉语言模型统一编码,这解释了它在复杂指令跟随和参考图理解上的表现基础。 默认 40 步推理、原生 2K 分辨率(2048²),支持 16:9 等七种常用宽高比。
顯示更多
Cognition 团队 @jaredpalmer 开源发布了 Jev-like 小型决策模型 Kev,Qwen3 底座 + LoRA 适配器 + 指针头,可自行训练、本地部署,有 0.6B / 4B / 8B 三种参数量 随着各家 Jev-like 模型的发布,Qwen 小模型的含金量还在上升! Kev 模型: 能力基准:在从未训练过的域外数据上,Kev-8B 准确率 79.6%,托管专有模型 Jev 为 85.7%;开源自托管方案与商用服务还差约 6 个百分点,但已进入可用区间。 四个关键卖点: · 即插即用:完全兼容 TypeSafe System One API,官方 Python SDK 只改一个 base_url 就能指向本地服务器 · 消费级硬件可跑:Kev-4B 在 32GB Mac 上以 bf16 服务,五个问题约 300ms;H100 上约 40ms · KV cache 加速:重复文档的前缀缓存命中后快 2–2.5 倍 · 训练成本极低:单张 H100,Kev-4B 训练 40 分钟,Kev-8B 仅 83 分钟
顯示更多
0
5
98
22
轉發到社區
AI 原生服务创业指南:八块拼图与五步落地 把 “按人头收费的专业服务” 重构为 “AI 干活、人做审核、按结果定价” 的生意”;用软件的成本结构,赚专业服务的钱,这是 @gregisenberg 认为当下最被低估的创业方向。 Greg 为什么说这是千亿级机会 ? · 美国企业每年在外部服务上的支出约 4.6 万亿美元,这笔钱此前因为“必须由人来做”而锁死在人力定价里; · QuickBooks 收 1 万美元/年,会计师收 12 万美元/年,中间 10 倍的价差,就是 AI-native service 的定价空间:你可以收 3 万美元,比人工便宜 75%,但毛利率仍远超传统服务公司; · 案例佐证:Harvey(法律 AI)约 5 个月 ARR 从 1 亿美元涨到 1.9 亿;EvenUp 用 AI 起草人身伤害索赔函,单份约 500 美元,年营收超 5000 万;Kick 月费 300–500 美元做记账,毛利率超 70%。 商业模式拆解:八个组件 1. Unit(收费单元):先定义“你按什么收钱"——按文件、按记录、按月 2. Intake:用表单而非邮件接单,输入结构化 3. Engine:AI agent 干 80–95% 的活 4. Rulebook:他称之为“真正的产品”:每一次人工纠错都沉淀为规则 5. Review layer:人工只做审核与签字,对结果负责 6. Delivery:成果如何送到客户手里,交付的形态(文件、报告、系统对接)和体验直接影响客户是否感知到"这值这个价" 7. Pricing:按单位或月费收费,绝不按小时计费(否则把自己锁回人力经济) 8. Distribution:冷启动技巧:免费做第一单,用交付质量获客 五步落地方法论 1. 选一个文件密集、规则明确的服务赛道; 2. 先纯手工服务 5 个客户(不写代码); 3. 把每个错误记录成 rulebook,这是你未来的护城河; 4. 逐步用 AI 替换流程,人工只留审核; 5. 可选:最终演化为纯软件公司。 Greg 给出的赛道清单都很具体:医疗账单编码、商业保险报价、海关货运分类、合规申报、租约摘要、RFP 撰写、房产税申诉、应付账款异常处理等。
顯示更多
Doc + Jev => DocJev @llama_index 团队最新开源文档分类与拆分工具 DocJev,给它一个 PDF/DOCX/PPTX 和一份用自然语言写的类别规则,它可以告诉你这份文档属于哪个类别,或者把一份“文件包”按边界拆成若干子文档并给出各自页码范围。 开源地址: 核心架构:解析与决策分离 1. 解析层(OCR/文本化):默认用 liteparse,本地原生 Python 解析器,免费、无 API 费用;可选 LlamaParse,基于 VLM,擅长复杂版式,分 Cost Effective / Agentic / Agentic Plus 三档,支持版本锁定和缓存。DOCX/PPTX 需借助 LibreOffice 先渲染成 PDF。 2. 决策层(Jev):把归一化后的页文本发给 Jev 托管服务,返回类别、概率和分布。 这个分离带来两个直接好处:解析结果可复用(parse 一次,classify/split 多次,metrics.decision_ms 可单独看推理耗时);换 OCR 后端不影响决策逻辑。“6 倍速度”的对比是包含 liteparse 解析时间的全链路数字。
顯示更多
0
5
37
14
轉發到社區
Digg 创始人、True Ventures 投资人 Kevin Rose 发布了他的 Grok Bot Template「INDEXX」 INDEXX 可以把你多年保存在 Instagram 里的视频,变成一个完全存放在你本地电脑上、可搜索、可问答的 Markdown 个人媒体维基。X 和 Tiktok Template 很快就会发布! 流水线:用 ScrapeCreators 拉取元数据与可下载地址(使用前会估算积分并征求确认)-> 下载到条目目录 -> 从视频抽出 audio.mp3 -> 观看并描述画面 -> 用 Grok Voice Transcribe 2.0 转写 -> 打标签并写入 wiki。进度按阶段记录:下载、音频、观看、转写、标签、wiki。 信息组织分三层:标签(5–10 个 kebab-case 关键词)、facets(形式 / 主题 / 意图,互不混用)、概念页(同一主题至少出现在 3 条来源,或你明确要求时才建)。条目只有在状态为 wiki_ingested、且 schema 清单全部通过时,才算处理完成。路径由 .indexx.json 解析,不写死用户名。本地检索与音频处理主要依赖 ripgrep 与 ffmpeg。
顯示更多
AI Agent Evals 实战 FAQ:先发现失败、再谈评估,700+ 工程师踩坑后的完整方法论 当前行业的主流叙事是:搭评估基础设施、接 LLM-as-a-Judge、看仪表盘分数。两位作者 @HamelHusain @sh_reya 基于大量一线教学与实践,认为这条路径恰恰是错的,或者说是本末倒置的。 他们的核心方法论可以压缩成一句话: 先做错误分析,再谈评估体系。 评估指标是从真实失败案例中“生长”出来的,不应该是预先设计出来的。
顯示更多
现在猎头行业是这么一鱼多吃的吗 😂
腾讯团队开源发布会"预演"的记忆系统「T-Mem」 当前四代长期记忆架构:Flat RAG、图结构记忆(GraphRAG、Zep、HyperMem)、agentic 层级记忆(Mem0、A-Mem、MemoryBank)、操作系统式记忆内核(MemGPT、MemOS、MIRIX),虽然结构各异,但检索配方却完全相同:把查询和存储内容投进同一个相似度空间(BM25 或稠密向量),取 top-K。这决定了一件事:记忆的"可达性"被相似度封顶。 论文: 开源项目: # 现在的问题是什么? 现有记忆架构的检索配方只覆盖一半情形。当查询与记忆共享表面特征时(同样的措辞、同一个实体、同一个时间地点)它工作良好,这就是描述性召回。但长对话里还有同样常见的另一半:查询与记忆零表面重合,绑定二者的只有一条潜在的语义弧,比如因果关系、同一情境的延续。这是联想性召回。比如:一个月前用户说过"团队里有人严重海鲜过敏",今天问"今晚团队去哪儿吃饭",两句话没有任何词汇重合,前者却恰恰是后者的必答依据。长对话中的用户极少用原措辞重提旧话题,而借新情境的间接线索回访记忆;表面形式已经漂远的目标,永远无法从同一个相似度邻域里到达。 把"粒度"(单条事实 / 完整对话段)和"取向"(描述性 / 联想性)作为两个正交轴,就得到 2×2 检索设计空间。论文指出,现有系统全部挤在第一、第四象限(描述性的一半),第二、第三象限,联想性的一半,是这套检索配方的结构性盲区。也是腾讯这篇论文的基础。 # 核心思想:把"预演"放在写入时 T-Mem 的答案借自认知科学。人在回忆过去时,会为未来的线索预演经验,这叫"情景未来思维"。它的工程对应物就是 trigger:写入记忆时,由构建用的大模型离线算好并随宿主存放的一条预测,"这条记忆会在什么情境下重新变得重要"。 trigger 的架构意义在于解耦了两件事:一条记忆"如何被到达"和"什么算答案证据"。当相似度找不到宿主时,查询仍可以经由宿主的某条 trigger 命中它。每条记忆因此同时保有描述性入口和联想性入口。四个 trigger 家族各占设计空间的一个象限: · Entity Trigger(第一象限,事实×描述):给原子事实一个上位概念名。"海鲜过敏"的实体触发器可能落在"饮食限制"上。 · Bridge Trigger(第二象限,事实×联想):把事实投射到一个"知道它就会有用"的具体情境,并附一步推理的理由。过敏事实投射到"为团队晚餐选餐厅"。这是纯联想轴,相似度检索完全无法覆盖。 · Scene Trigger(第四象限,场景×描述):从情境、对象、事件、情绪四个正交属性各用一句话描述当前场景。 · Horizon Trigger(第三象限,场景×联想):把同一场景投射到一组前瞻维度,让未来的查询从相关但不同的情境接近时仍能命中它。 其中 Entity 和 Scene 服务的是相似度检索已经覆盖的那一半,Bridge 和 Horizon 才是填补盲区的两族。 # 结构与流程 记忆被组织成五类对象的类型化图:scene(按事件闭合切分的连贯对话段,作为证据)、item(从 scene 抽取的原子事实,可锚定到多个源 scene 以承载跨场景的逻辑链)、topic 标签(只用于限定抽取范围和检索预过滤,明确不进入问答通道)、四族 trigger(只参与检索,永不出现在证据里),以及按说话人聚合的 persona(作为环境上下文附在证据之后,不占用检索预算)。三条设计承诺:证据层按类型隔离、topic 不污染问答、trigger 不进入证据路径。 构建是四阶段离线流水线,顺序承重:按事件闭合(而非会话边界,会话边界是数据采集的副产品,一个会话可含多个事件、一个事件可跨多个会话)切分 scene;按到达顺序做 topic 归组,一个 scene 可加入多个 topic;每个 topic 一次抽取,同时产出原子 item 和跨场景连接 item;最后逐节点生成 trigger,Entity 与 Bridge 在同一次模型调用中产出。 检索是自上而下的 topic→scene→item 三级瀑布,每层用 RRF 融合词法与稠密排序。最关键的一处工程细节是:经由任一 trigger 到达的 scene 和 item 不受 topic 预过滤的闸门约束。预过滤本质是基于相似度的邻域测试,而 Bridge 和 Horizon 恰恰是为邻域之外的线索设计的;让它们过闸,等于把 T-Mem 自己要对抗的相似度体制重新加回来。item 级 trigger 召回另带 0.85 的硬余弦阈值。trigger 索引采用多视图编码:每个 item 暴露纯概念、纯桥接、联合(概念∥桥接∥理由)三个视图,取跨视图的最大余弦分并归属到宿主。整套检索在 CPU 上即可完成,单台无 GPU 工作站可复现全部评测。 # 实验结果 LoCoMo 官方协议下,T-Mem 总准确率 80.26%,超最强基线 HyperMem(官方协议复跑值 77.01%)3.25 个点,token F1 51.96 同向;分题型为单跳 85.97、多跳 69.15、时间 82.55、开放域 55.21,其中开放域以 0.69 点惜败 MemOS,是唯一未拿第一的题型。 真正的分水岭在 LoCoMo-Plus 的 Cognitive 子集(专门剥离词汇重合、探测纯联想召回的题目):T-Mem 74.81%,HyperMem 48.63%,MemOS 32.67%,GPT-4o 直接读完整对话原文零样本也只有 21.05%,Gemini-2.5-Pro 为 26.06%。跨基准落差方面,T-Mem 只掉 5.45 个点,其余系统掉 28.38 到 50.07 个点;连 GPT-4o 吃下全部原文也掉 45 个点,说明骨干模型的规模救不了联想轴的断裂。作者自己划的重点是:跨基准落差而非单榜绝对分才是这项工作的 headline。 消融实验是全文最有信息量的部分,且信息不在总分而在两列的不对称。描述轴组件(scene 层、item 通道、Entity+Bridge、persona、topic 过滤)在 LoCoMo 上各值 1.4 到 4.7 个点,在 LoCoMo-Plus 上却只值 0.25 到 2.99 个点;联想轴组件完全反过来,去掉 Horizon Trigger,LoCoMo 只动 0.08 个点,LoCoMo-Plus 塌 12.47 个点,两个场景级 trigger 一起去掉塌 22.19 个点,是任一描述轴开关影响力的七倍以上。这条不对称本身就是论证:只按相似度基准调优的系统,隐含地就在优化"待在相似度邻域之内",而邻域之外的成本,这类基准在构造上就测不到。 效率上,构建是一次性离线成本:10 段 LoCoMo 对话共 9,689 次构建模型调用、15.60M token,高于 Mem0 的 12.20M,作者把增量明确归给 Bridge 和 Horizon 两族联想 trigger,称之为扩展联想轴的价格。答题时的 token 预算低于 HyperMem 的同时两个基准都更准;低 token 阵营(Mem0、Zep、MemOS)在 LoCoMo-Plus 上直接崩盘。
顯示更多
0
3
82
27
轉發到社區
TypeSafe CEO @CompleteSkeptic : 为什么还要再造一个 coding agent ? Diogo 核心想法是一个反事实思想实验:如果 LLM 没有 KV cache,你会怎么设计 coding agent? 原因是:今天 agent 的许多“标准特性”并非源于用户价值,是为绕过 KV cache 与按 token 计费的成本结构而打的补丁。用这个视角审计,才能分清哪些是真设计、哪些是“被 KV cache 限制”的产物。 前提假设:coding agent 出奇地简单(agentic 部分本质是 while loop + 少量工具),创新空间在“非 agent 部分”,包括状态、上下文、成本管理;模型、UI、开源实现皆可复用,第一方 agent 的成本优势在缩小;而有些事只有原生 agent 能做,这是做新 agent 的理由。 # KV cache 造成的六个怪象 1. 按难度路由在经济上不成立。算个账:以 Opus(输入 5 / 输出 25)、Sonnet(3 / 15)计价,X = 上下文 token,Y = 生成输出,Z = 输出中额外生成的 token(命令、读文件等);全程 Opus 成本 25Y + 5Z,Sonnet 开路再回 Opus 成本 3X + 20Y + 8Z。只要 X 大(长会话)或 Z 超过 Y 的约 1.67 倍,第二条就更贵;按 Diogo 给的比例(X=0.65, Y=0.12, Z=0.23),全程 Opus 只要路由方案 2/3 的钱。直觉盲区在于:cache 按模型隔离,小模型读大模型的上下文要全价,回到大模型时,中途产生的每个 token 还要按输入价再付一遍。 2. 工具调用是奇怪的权衡:工具必须 upfront 声明在系统消息里却并非都相关,调用时还得把参数说清楚;既吃上下文,模型又不擅长“高基数 × off-policy”的工具调用。作者认为这正是 skills(渐进式披露)反而好用的原因。 3. compaction 的存在很可疑:它隐含假设“未来所有 turn 都想要同一份共享状态”。但压缩本身极难,且注定不如“查询感知的压缩”,知道要找什么时,压缩容易得多。 4. 子 agent 能力参差:作者惊讶模型不做自动并行,怀疑卡点在“状态交接”,传什么进去、合并什么回来。 5. 重启的存在:仅在“agent 有状态且状态会腐坏”的前提下合理;另一种思路是按需即时加载全部相关旧状态。 6. 开箱即用之争:agent 要不要内置大量现成能力(工具、文档、工作流);一端是 openclaw 式的“全都给你配好”,另一端是 Claude Code/Codex 式的“只给骨架,其余自己搭”。 # TypeSafe 的解法:显式状态 + 按查询动态重建上下文 Diogo 主张 “TypeSafe-centric” 设计,把“一切都在上下文里”当作显式不变量,但对每一次用户查询重新计算上下文(他称之为 “meta-attention”): · 给每个上下文 chunk(工具输入/输出、内部推理、用户对话)打相关性标签,未来细化为“不显示 / 小摘要 / 长摘要 / 全文”的分级; · 对“复用现有 KV cache vs 从零重建”做成本感知决策,这是让路由在经济上成立的前提; · “上下文是静态的”这一假设被彻底移除。 由此解锁四件事: · 成本/智能感知路由:上下文重建变便宜后,简单任务路由到便宜/快的模型才真正划算;顺带可以把“多花钱换好/快”与“尽量省”做成给用户的旋钮。 · 子 agent:作者猜当前子 agent 的主要成本就是“搞清传什么状态”,这件事变便宜、自动化之后,子 agent 才值得大规模用。 · Skills/MCP/工具调用的第一性原理重设计:一个中间层始终只放一行“方向性描述”(模型得先知道某个动作可能存在),完整 schema 按需加载(类似 Anthropic 的 tool search)。若上下文不被污染,就能以近零成本内置海量电池(数百工具 + 数千文档),既是产品力也是联合营销杠杆。 · 条件化 AGENTS.md:按条件动态加载(前端工作→风格指南;某子目录→gotchas 文件)。与 skills 的区别是“常驻记忆”而非“立即执行”,且应免疫于 compaction(skill 加载后又遭压缩,大概率被摘要掉)。 半熟的激进构想 · 后台只读任务:近期热门工作流(并行 HTML、后台建 eval、ELI5)的共同点是“后台运行 + 对代码库只读”。与显式状态的协同点:一次代码变更的相关信息检索可在多个后台任务间共享、摊薄成本。作者认为“显式读写状态”是这里的超能力来源;现成样板是 cross-model review(让 codex 审 claude 的活)。 · 安全感知路由:便宜模型(如 DeepSeek V4)+ 数据外泄疑虑 → 给任务按“可能触碰的文件类型”打标、按类型定策略,把低敏感查询路由到便宜模型;推广开还有其他回避逻辑(LLM 研究不用 Anthropic,安全敏感不用 OpenAI/Anthropic)。 · 其余零散想法:结构化 skills(可编程 harness + hooks)、递归语言模型(显式变量即状态)、花式摘要(对 grep 输出做相关性热力图再按需裁剪)、极端并行(需要锁与同步原语)、给 hype 项目(headroom/rtk 等)做适配。 · 点名了一批可集成/改进的工具(headroom、rtk、ast-grep、ast-outline、fastcontext、fff),并引了一个数据:某轨迹分析中读+搜索占工具调用轮次的 56.2%、主 agent token 的 46.5%,若可泛化,“用结构化检索替代子 agent 搜索”是最大的效率杠杆。
顯示更多
0
7
43
10
轉發到社區
现在猎头行业是这么一鱼多吃的吗 😂