登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

meng shao
@shao__meng
追踪 AI 前沿,精选解读一手技术资料 分享 Agent 构建与 AI Coding 实践,拆解 Agent 工程架构和细节、技术选型与企业应用案例 前 CTO|AI 技术顾问 · 企业培训 公众号 / 小红书:AI 启蒙小伙伴 合作请私信 📮
参加 November 2023
1.1K フォロー中    34.4K ファン
TypeSafe CEO @CompleteSkeptic : 为什么还要再造一个 coding agent ? Diogo 核心想法是一个反事实思想实验:如果 LLM 没有 KV cache,你会怎么设计 coding agent? 原因是:今天 agent 的许多“标准特性”并非源于用户价值,是为绕过 KV cache 与按 token 计费的成本结构而打的补丁。用这个视角审计,才能分清哪些是真设计、哪些是“被 KV cache 限制”的产物。 前提假设:coding agent 出奇地简单(agentic 部分本质是 while loop + 少量工具),创新空间在“非 agent 部分”,包括状态、上下文、成本管理;模型、UI、开源实现皆可复用,第一方 agent 的成本优势在缩小;而有些事只有原生 agent 能做,这是做新 agent 的理由。 # KV cache 造成的六个怪象 1. 按难度路由在经济上不成立。算个账:以 Opus(输入 5 / 输出 25)、Sonnet(3 / 15)计价,X = 上下文 token,Y = 生成输出,Z = 输出中额外生成的 token(命令、读文件等);全程 Opus 成本 25Y + 5Z,Sonnet 开路再回 Opus 成本 3X + 20Y + 8Z。只要 X 大(长会话)或 Z 超过 Y 的约 1.67 倍,第二条就更贵;按 Diogo 给的比例(X=0.65, Y=0.12, Z=0.23),全程 Opus 只要路由方案 2/3 的钱。直觉盲区在于:cache 按模型隔离,小模型读大模型的上下文要全价,回到大模型时,中途产生的每个 token 还要按输入价再付一遍。 2. 工具调用是奇怪的权衡:工具必须 upfront 声明在系统消息里却并非都相关,调用时还得把参数说清楚;既吃上下文,模型又不擅长“高基数 × off-policy”的工具调用。作者认为这正是 skills(渐进式披露)反而好用的原因。 3. compaction 的存在很可疑:它隐含假设“未来所有 turn 都想要同一份共享状态”。但压缩本身极难,且注定不如“查询感知的压缩”,知道要找什么时,压缩容易得多。 4. 子 agent 能力参差:作者惊讶模型不做自动并行,怀疑卡点在“状态交接”,传什么进去、合并什么回来。 5. 重启的存在:仅在“agent 有状态且状态会腐坏”的前提下合理;另一种思路是按需即时加载全部相关旧状态。 6. 开箱即用之争:agent 要不要内置大量现成能力(工具、文档、工作流);一端是 openclaw 式的“全都给你配好”,另一端是 Claude Code/Codex 式的“只给骨架,其余自己搭”。 # TypeSafe 的解法:显式状态 + 按查询动态重建上下文 Diogo 主张 “TypeSafe-centric” 设计,把“一切都在上下文里”当作显式不变量,但对每一次用户查询重新计算上下文(他称之为 “meta-attention”): · 给每个上下文 chunk(工具输入/输出、内部推理、用户对话)打相关性标签,未来细化为“不显示 / 小摘要 / 长摘要 / 全文”的分级; · 对“复用现有 KV cache vs 从零重建”做成本感知决策,这是让路由在经济上成立的前提; · “上下文是静态的”这一假设被彻底移除。 由此解锁四件事: · 成本/智能感知路由:上下文重建变便宜后,简单任务路由到便宜/快的模型才真正划算;顺带可以把“多花钱换好/快”与“尽量省”做成给用户的旋钮。 · 子 agent:作者猜当前子 agent 的主要成本就是“搞清传什么状态”,这件事变便宜、自动化之后,子 agent 才值得大规模用。 · Skills/MCP/工具调用的第一性原理重设计:一个中间层始终只放一行“方向性描述”(模型得先知道某个动作可能存在),完整 schema 按需加载(类似 Anthropic 的 tool search)。若上下文不被污染,就能以近零成本内置海量电池(数百工具 + 数千文档),既是产品力也是联合营销杠杆。 · 条件化 AGENTS.md:按条件动态加载(前端工作→风格指南;某子目录→gotchas 文件)。与 skills 的区别是“常驻记忆”而非“立即执行”,且应免疫于 compaction(skill 加载后又遭压缩,大概率被摘要掉)。 半熟的激进构想 · 后台只读任务:近期热门工作流(并行 HTML、后台建 eval、ELI5)的共同点是“后台运行 + 对代码库只读”。与显式状态的协同点:一次代码变更的相关信息检索可在多个后台任务间共享、摊薄成本。作者认为“显式读写状态”是这里的超能力来源;现成样板是 cross-model review(让 codex 审 claude 的活)。 · 安全感知路由:便宜模型(如 DeepSeek V4)+ 数据外泄疑虑 → 给任务按“可能触碰的文件类型”打标、按类型定策略,把低敏感查询路由到便宜模型;推广开还有其他回避逻辑(LLM 研究不用 Anthropic,安全敏感不用 OpenAI/Anthropic)。 · 其余零散想法:结构化 skills(可编程 harness + hooks)、递归语言模型(显式变量即状态)、花式摘要(对 grep 输出做相关性热力图再按需裁剪)、极端并行(需要锁与同步原语)、给 hype 项目(headroom/rtk 等)做适配。 · 点名了一批可集成/改进的工具(headroom、rtk、ast-grep、ast-outline、fastcontext、fff),并引了一个数据:某轨迹分析中读+搜索占工具调用轮次的 56.2%、主 agent token 的 46.5%,若可泛化,“用结构化检索替代子 agent 搜索”是最大的效率杠杆。
もっと見る