Coding Agent 最常见的成本,不是把代码写崩,而是让人不断纠偏。
一项分析 20,574 个真实 Coding Agent 会话的研究发现:90.5% 的可见失配没有造成不可逆损坏,但 91.49% 的解决过程仍需要用户明确纠正。
所以评测 Coding Agent,除了成功率,还得看两个地方:人工打断次数、返工分钟数。 这两项更接近真正的使用成本。
显示更多
Coding Agent 的发展真的是一个矛盾体啊。Coding Agent 的巨大市场潜力来自于 Coding 这个事情的价值。但是如果 Coding Agent 完全成功了,那么 Coding 这个事情也就失去价值了,Coding 失去价值了,那 Coding Agent 不也失去价值了吗。
显示更多
Coding Agent 会让人产生大量的错觉,做出个东西觉得是个绝世好产品,发出来之后发现,除了自己基本没人用。这样的东西会大量产生。
然后,真正的好产品就会出现了
显示更多
Coding Agent 的最佳组合是:
- Codex 规划方案(算法、架构、逻辑、Debug)
- Claude Code 执行
每次 Codex 给出的方案,Claude 都赞不绝口,疯狂点赞。
每次 Claude 给出的方案,Codex 都认为太 naive / 不优雅。
显示更多
把 coding agent 的会话日志在代码库 3D 夜景地图上回放,让你直观看清智能体探索、读取、改动了哪些文件。
这是个单文件 Go 程序,读 Claude Code 和 Codex 的会话日志,在本地把整件事跑完,日志不会传出去。然后把仓库铺成一张夜景地图,文件被搜、读、改得越狠,亮得越明显;地形和树两种视角、回放拖拽、时间轴标记和点击查文件都齐了。
显示更多
AI coding 真的要进入「按任务算账」时代了。
Databricks 最近做了一个很有意思的内部 benchmark:直接拿自家多百万行代码库里的真实 PR 来评测 coding agent,用真实测试判断任务是否完成,而不是只看公开榜单。
这件事最有价值的地方在于,它更接近真实开发现场。
公开 benchmark 里表现好的模型,放到复杂代码库里未必划算;token 单价便宜的模型,也可能因为读得更多、跑得更久,最后任务成本更高。
文章里还有一个很关键的发现:harness 影响很大。同一个模型,放进不同工具链里,成本可能差两倍以上。
所以未来公司选 coding agent,可能不能只问「哪个模型最强」,而要问:
在我的代码库里,它能不能用最低成本稳定完成真实任务?
公开榜单只能告诉你模型有多强,真实代码库才能告诉你它值不值得进入工作流。
显示更多
🔍 coding agent 的省 token 神器来了——cocoindex-code,一条命令给你的代码库做语义搜索
刚开源不久,靠“省 70% token”的卖点 star 涨得很快。
让 Claude Code、Codex 这类 agent 在大项目里改代码,它经常要把一堆文件读进上下文才找得到地方,token 哗哗烧,还慢。
cocoindex-code 用 AST 给你的代码库建语义索引,agent 要找哪段逻辑,它精准捞出相关代码片段喂过去,官方实测直接省 70% token,搜索还更快。
底层是 Rust 写的数据引擎,装上一分钟、零配置就能用。它能以 Skill 或 MCP 的形式接进 Claude、Codex、Cursor 任意一个 coding agent。
让 agent 在大仓库里改代码,既快又不烧钱。
GitHub:
显示更多
去年 coding agent 颠覆了软件开发模式。最近看了几部 AI 短剧,质量很高了,特别是 AI 漫剧,简直和建模的没太大分别了。影视行业是不是也到了被颠覆的临界点了。
显示更多
AI Coding Agent 真正让人崩溃的,从来不是写错代码,而是它根本不听话
这篇论文适合所有重度使用 Claude Code、Codex 或其他 AI Agent 的人。
它研究的不是 benchmark 上的失败,而是真实开发中最扎心的问题:
AI coding agent 到底是怎么不断消耗开发者时间和信任的?
研究分析了 20,574 个真实 coding agent sessions,把“失败”定义为:开发者开始打断、纠正或反驳 Agent 的那一刻。
结果非常现实:
最常见的失败原因,不是代码写错,而是 Agent 反复违反开发者明确说过的约束。
比如你明确说过:
1.“别改这个文件”
2.“先别动代码”
3.“只做最小修改”
它却还是忍不住多做一点。
你让它先解释清楚问题,它却顺手开始改代码; 你让它验证完再汇报结果,它没跑完就直接宣布“搞定了”。
论文还发现了一个有趣差异:
CLI Agent 更容易违反约束,因为它常被委托执行更长、更开放的任务;
IDE Agent 则更容易出现局部实现错误,因为它像贴身 copilot,交互过于频繁。
最累人的是,这些失败往往不会立刻造成灾难,而是持续消耗你的判断力。
你得一直问自己:它有没有听懂?有没有越界?有没有真的验证过?
这和我自己的感受完全一致。
AI coding 真正让人感到疲惫的,从来不是“写得慢”,而是得反复为它擦屁股。
所以我真正期待的 coding agent 进步,不是“写得更快”,而是能不能持续对齐开发者意图、严格遵守边界、准确汇报进度。
AI coding 的核心难点,可能从来不是技术能力,而是别让我反复判断它到底有没有听话。
🔖 收藏这篇论文。 推荐所有在用 AI coding agent 的人看一看。
显示更多
AI Coding 时代,好的编程习惯仍然重要
最近做一个 Agent benchmark,发现不能简单地用开发者视角来评估一个编程任务对 AI 的复杂度。
比如一个重构任务:把一个几千行的大文件,按功能拆成十多个小模块。
这个任务对开发者来说其实不算难,主要工作就是移动代码、整理 imports、编译验证,新手也能搞定。
所以想着用一个简单的任务来做一下 benchmark,结果却出乎意料。
Claude Code 判断这个任务比较大,尝试拆了一部分,提了个 PR 写了 Future work 打算分步来。
我自己的 Agent 是“硬上”,往完整拆分的方向推进了更多,但代价也很明显:Token 消耗是 Claude 的几十倍,后面大量时间都花在反复读文件、修编译错误、再读文件、再修错误上。
这让我意识到,人觉得简单的任务,对 Agent 不一定简单。
对人来说,这类重构很多时候就是“把这一段挪过去”。但对 Agent 来说,它要先分批读大文件,记住哪些函数和哪些测试有关,再生成一堆跨文件修改,最后通过编译错误一点点补洞。看起来像机械活,实际变成了一个高 Token、高状态管理成本的任务。
前一段时间看到有人说,AI Coding 时代,拆分模块这些编程原则没那么重要了,反正人也不看代码。现在看,我不太同意。模块边界清楚、文件粒度合适、依赖关系简单,不只是方便人读,也是在帮 Agent 降低任务复杂度。
从另一个角度看,现在 Agent 的读文件和改文件工具,对这种重构也不太顺手。
Coding Agent 改文件,主要还是文本替换。比如 Claude Code 常见的是 old_string / new_string 模式:先给出一段旧文本,再替换成新文本。Codex 常用的是 apply_patch:生成一个类似 git diff 的 patch,表达把旧的内容替换成新的。它们都适合小范围修改,但如果要删除一大段旧代码,或者把一批函数挪到别的文件,模型往往还是要先把原始内容读进上下文,再生成一大段替换或 diff。
所以我后来给 Agent 一个提示,让它先用脚本、sed、perl 这类工具把大文件粗拆开,直接把旧内容删掉,写到新文件中,然后再逐个慢慢修,它的完成度确实高了许多。Agent 默认不会这样做,主要是因为系统提示词里会强烈要求 Agent 用内置工具修改文件,而不是命令行工具。
再往前想一步,Coding Agent 可能还需要更高级的编辑工具。不是只给它一个“替换文本”的接口,而是先通过 parser、LSP 或 compiler 建立代码结构,让 Agent 可以像 IDE 一样做重构:移动函数,删除 impl block,整理 imports。不知道是否有朋友做这方面的尝试。
总的来说,即便是 AI Coding 时代,好的编程习惯还是有价值的。尽量在早期通过 harness engineering,把好的编程习惯变成 Agent 的默认工作方式,比后来再重构的成本要小很多。
显示更多