Claude Fable 5 是 DeepSWE 记分板上最贵的模型。Together AI 拿它跟全场最便宜的模型各跑了 452 次，给出的用法建议是反过来：贵的当后手。 《DeepSWE 上的 DeepSeek V4 Pro 0813 vs Claude Fable 5：成本、编码与路由》 DeepSWE 上的 DeepSeek V4 Pro 0813 vs Claude Fable 5：成本、编码和路由 要点 • 先跑 DeepSeek V4 Pro 0813，只有它失败时才升级到 Claude Fable 5。这条级联链解决 82.7% 的 DeepSWE 任务，每个任务 8.28 美元。单用 Fable 是 69.7%、每个任务 21.63 美元。高 13 个百分点，便宜 62%。 • Fable 赢第一发。pass@1 69.7% 对 62.8%，领先 7 个点。 • Pro 赢之后每一发。pass@2 打平（78.5% 对 77.1%），pass@4 领先（88.5% 对 84.1%）。 • 价格差 90 倍。每次 rollout 0.24 美元对 21.63 美元。每花 100 美元，Pro 解决 260 个任务，Fable 解决 3 个。 • 它们栽在不同的任务上。逐任务相关性只有 0.39，是我们测过的分歧最大的一对。两者合计覆盖 113 个任务中的 107 个。分歧正是路由能成立的全部理由。 现已上线 · 美国托管：在 Together AI 上运行 DeepSeek-V4 Pro 0813——1.05M 上下文，支持 function calling 和 JSON mode，OpenAI 兼容 API，托管在美国基础设施。查看模型 在我们对 DeepSeek V4 Pro 0813 与 Claude Fable 5 的 DeepSWE 对比中——DeepSWE 是一个跨多种任务类型和编程语言测试模型软件工程能力的基准——这两个模型坐在价格表的两端。Claude Fable 5 的每次 rollout 是 DeepSWE 全榜最贵。DeepSeek V4 Pro 0813 是最便宜的之一。Fable 首发的准确率高 7 个百分点，单次 rollout 却贵 90 倍，所以真正的问题不是哪个模型更好，而是这 90 倍的溢价到底买到了什么、什么时候值得付。 DeepSWE · 正面对决 DeepSeek V4 Pro 0813 vs Claude Fable 5 一览 • claude-fable-5 [max]：pass@1 69.7% ± 2.3%，平均成本 21.63 美元，每 100 美元解决 3 个任务，输出 token 115k，79 步 • deepseek-v4-pro-0813 [max]：pass@1 62.8% ± 3.1%，平均成本 0.24 美元，每 100 美元解决 260 个任务，输出 token 101k，146 步 我们在全部 113 个 DeepSWE 任务上，用 DeepSeek V4 Pro 0813（max）对 Claude Fable 5（max）各跑四次 trial，取自已发布的逐 trial 记录：总计 904 次 rollout（各 452 次）。Fable 是贵价的手艺人；Pro 是性价比上的异类。这两个模型的分歧也大于这套数据里的任何其他组合——结果这成了它们最有趣的地方。下文的每个数字都来自本次运行，所以可能与其他公开的 DeepSeek V4 Pro 0813 vs Claude Fable 5 记分卡有出入。 DeepSWE 记分板：pass@1 与 pass@k 单发，Fable 领先：pass@1 69.7% 对 Pro 的 62.8%（官方计分）。但这个领先很脆弱。两次尝试时 Pro 追平（78.5 对 77.1），四次尝试时 Pro 的 pass@4 88.5% 比 Fable 的 84.1% 高出 4 个多百分点。对一个贵 90 倍的模型来说，Fable 既没有守住天花板，也没有在重试下保住首发优势。更便宜的模型覆盖更广，best-of-k 也更高。 成本对比：DeepSeek V4 Pro 0813 vs Claude Fable 5 的价格 每次 rollout 0.24 美元，DeepSeek V4 Pro 0813 比 Fable（21.63 美元）便宜 90 倍：每 100 美元解决 260 个任务，Fable 只有 3 个。这是我们测过的所有组合里最宽的成本差距，Fable 也是榜单上最贵的单个配置。而且与直觉相反，低价格没有带来速度惩罚：Fable 的中位 rollout 31 分钟，Pro 35 分钟，基本持平——因为 Fable 是榜单上话最多的模型（115k 输出 token），尽管它的步数更少（79 对 146）。Pro 走的步数多；Fable 每步写得多。两个模型谁也没有明显更快。 失败模式：两个模型分别怎么错 两者在「不破坏东西」上都算自律：DeepSeek V4 Pro 0813 和 Fable 各自只在 11% 的失败里回归了现有测试套件，远低于 GPT 家族的 20%。差别在另一个方向：Fable 的大偏差失误占比是这里最高的（18% 对 Pro 的 10%），也就是说 Fable 一旦错，更常是错得离谱——给出离题很远的方案，而不是差一个边界用例。Pro 更多时候倒在离正确答案不远的地方（66% 的近似失手，对 Fable 的 57%）。所以两者都可以不加重度回归门禁就放心接入，但 Fable 的失手是调试成本更高的那种。 按任务类型，各自赢在哪 Fable 的手艺体现在推理重、契约精确的领域：8 个领域里它赢 6 个，领头的是数据建模与序列化（88%，比 Pro 高 24 个点）和语言内部机制（78）。但 DeepSeek V4 Pro 0813 拿下两个，两个都分量不轻：有状态响应式（66 对 64），以及——更有说服力的——并发与持久化（58 对 45）：在恰恰是 Fable 最弱的领域里领先 13 个点。Fable 在并发上的 45% 是它最弱的格子，也是唯一一个便宜模型不只是更便宜、而是工程师水平更高的领域。 按编程语言 Fable 赢下五种语言里的四种，但真正对得起它价格的是 Rust：85% 对 Pro 的 65%，20 个点的差距，也是这场对决里最大的一处差距。Fable 显然是序列化和 Rust 专家。其他语言都比价格暗示的接近（Python 70 对 60，Go 71 对 67，JavaScript 75 对 65），DeepSeek V4 Pro 0813 则实际拿下 TypeScript（61 对 57）。Rust 和序列化之外，付 90 倍价格的理由很难成立。 这两个模型到底有多不一样？ 亮点在这里。逐任务相关性只有 0.39，是我们测过的 DeepSeek-Pro 组合里最低的——这两个模型是真心意见不合。它们各自解决了 88 个任务；Pro 单独拿下 12 个，Fable 单独拿下 7 个，只有 6 个任务两边都栽。两者的并集覆盖 113 个任务中的 107 个（94.7%），而且分歧是双向的：DeepSeek V4 Pro 0813 在 awilix-async-container-initialization 上四发四中，Fable 一次没成；Fable 在四个 Pro 全挂的任务上四发四中（包括 koota-query-predicates 和 testem-bail-on-test-failure）。这是真正的互补，不是冗余。 在两者之间路由：组合打法 多样性加上价格差，让级联变得很划算。先跑 DeepSeek V4 Pro 0813，只有测试套件否决答案时才升级到 Fable：82.7% 的解决率，每个任务 8.28 美元。比单用 Fable（69.7%）高 13 个百分点，价格不到 Fable 单任务价格（21.63 美元）的一半。廉价的第一阶段清掉大部分队列，Fable 的溢价只花在难啃的剩余任务上，而且那些任务在上面还多获得一次独立的尝试。级联甚至赢过完美的一次性 oracle 路由（78.8%）。顺序不是可选项：Pro 先行每个任务 8.28 美元，Fable 先行 21.71 美元，准确率一样。 这意味着什么 Fable 5 是这张榜单上最难被当作默认模型的：最贵的一次 rollout 遥遥领先，首发优势被重试抹平，四发也没有天花板优势。只为两件事买它：Rust（85%）和序列化密集的工作（88%）——只有在这里它的质量才真正对得起价格。 DeepSeek V4 Pro 0813 是相反的画像：首发准确率接近 Fable，天花板更高，失败画像持平或更好，便宜 90 倍——尽管它在 Rust 和契约精确的领域让位。而因为两者是我们测过最多样的一对，Fable 最好的用法不是当默认，而是躲在低成本的 Pro 第一阶段后面做选择性升级，只在那少数真需要 Rust 或序列化专家的任务上付费。 现已上线 · 美国托管：在 Together AI 上运行 DeepSeek-V4 Pro 0813——1.05M 上下文，支持 function calling 和 JSON mode，OpenAI 兼容 API，托管在美国基础设施。查看模型 数据表：DeepSeek V4 Pro 0813 vs Claude Fable 5 完整结果 DeepSWE · 完整结果 • Pass@1（官方计分）：Pro 62.8%，Fable 69.7% • Pass@1（错误计为失败）：62.8%，67.3% • Pass@2 / pass@4：78.5 / 88.5%，77.1 / 84.1% • 覆盖率 / 可靠性：88.5 / 71.0%，84.1 / 82.0% • 四发四中 / 全挂：35 / 13，56 / 18 • 每次 rollout 成本 / 总成本：0.24 美元 / 109 美元，21.63 美元 / 9,346 美元 • 每 100 美元解决数：261，3 • 中位分钟 / 步数：35 / 146，31 / 79 • 中位峰值上下文 / 输出 token：232k / 101k，202k / 115k • 失败构成（近似 / 大偏差 / 回归）：66% / 10% / 11%，57% / 18% / 11% • 赢下的领域（共 8 个）：2（有状态、并发），6 • 赢下的语言：1（TypeScript），4（Rust 大胜） • 逐任务相关性 / 并集（两模型合计）：0.39 / 113 中的 107（94.7%） • Pro → Fable 级联（准确率 / 成本）：82.7% / 8.28 美元（单用 Fable 69.7% / 21.63 美元） • 单发 oracle 路由：78.8% • 基础设施错误：0，16 FAQ DeepSeek V4 Pro 0813 比 Claude Fable 5 更好吗？ 看指标。Claude Fable 5 赢 DeepSWE 上的单次尝试质量（pass@1 69.7% 对 62.8%），四发四中的任务也更多（56 对 35）。DeepSeek V4 Pro 0813 在 pass@2 追平、pass@4 反超（88.5% 对 84.1%），且每次 rollout 便宜 90 倍，所以在大批量或容忍重试的 agent 工作里，它是更强的性价比之选。 DeepSeek V4 Pro 0813 比 Claude Fable 5 便宜多少？ 在我们的运行里，DeepSeek V4 Pro 0813 每次 rollout 0.24 美元，Claude Fable 5 满血档 21.63 美元，约便宜 90 倍。按解决的任务算，Pro 每 100 美元解决 260 个，Fable 是 3 个——每美元的产出大约差 80 倍。 编码该用 DeepSeek V4 Pro 0813 还是 Claude Fable 5？ 大多数编码工作，两者的差距比价格暗示的小。Claude Fable 5 领先 Rust（85 对 65）、Python、Go 和 JavaScript，赢下 8 个领域中的 6 个，领头的是数据建模与序列化。DeepSeek V4 Pro 0813 拿下 TypeScript（61 对 57）、有状态响应式，以及并发与持久化（58 对 45）——那正是 Fable 最弱的领域。 要不要在 DeepSeek V4 Pro 0813 和 Claude Fable 5 之间做路由？ 要，前提是你能验证结果。两者是我们测过的所有组合里逐任务相关性最低的（0.39），合计覆盖 113 个任务中的 107 个。先跑 DeepSeek V4 Pro 0813，当测试套件否决输出时升级到 Claude Fable 5，能达到 82.7%、每个任务 8.28 美元——赢过单用 Fable，也赢过完美的一次性 oracle 路由。 DeepSWE 的 pass@k 是什么？ pass@k 衡量一个任务在 k 次尝试中是否至少有一次通过隐藏测试套件。pass@1 奖励一次做对；更高的 k 奖励能在多次尝试后最终到达方案的模型。DeepSeek V4 Pro 0813 的优势随 k 增大而扩大。 原文： #DeepSWE# #AI编程# #LLM评测#

CodeX最具性价比的使用方式出现了 根据DeepSWE 排行榜最新数据：GPT-5.6 Luna Max 以 67% 得分，平均成本只要 $0.61 登顶最具性价比的模型，兼顾了性能和成本 所以现在最高效的玩法是： 主线程用 GPT-5.6 Sol 做整体规划和拆解，把边界清晰的子任务全部丢给 GPT-5.6 Luna Max 并行执行 直接把下面这段提示词复制给 Codex： ─── 请在 ~/.codex/agents/luna-worker.toml 创建一个名为 luna_worker 的自定义代理。 使用以下设置： model = "gpt-5.6-luna" model_reasoning_effort = "max" 为它写一个清晰的 description 和 instructions，专门用于处理边界明确、可独立完成的委派任务。保留我现有的其他配置不要动。根据我当前安装的 Codex 版本校验配置是否兼容，展示修改的 diff，然后后续子代理任务优先使用 luna_worker。 ─── 设置完之后，Sol 负责思考和决策，Luna Max 负责大批量落地执行。一个长 goal 下来，额度消耗会明显下降，速度却更快 也可以不建自定义文件，直接让 Sol 在主线程里为每个子任务单独开 Luna Max 线程，结果会自动汇总回来

国产模型最近这一波打得太精准了 DeepSWE benchmark 放出了榜单, 从分数上看, GLM-5.2 无疑是国产编程大模型SOTA了, 而 Kimi-K2.7-Code 则是性价比SOTA. 图上几个折线是对应模型的不同推理程度的得分情况. DeepSWE 我觉得是最近非常值得的关注的的榜单了, 这个虽然也叫xxSWE, 但是它用的不是像SWE那种github上爬取的PR或者issue, 而是完全根据开源项目人工制造的问题, 然后让大模型修改. 能最大限度避免大模型提前炼这些问题(起码需要一段时间了, 5月份刚出的) 并且修改范围也很大,SWE-Bench-verified 通常一个提交也就几十行代码, 而 DeepSWE 每个问题都要上百行提交才能解决问题, 并且很考验模型的规划能力, SWE-Bench-Verified 通常会把所有需要的工具给到错误日志啥的也有, 并且提示词也写好告诉模型该怎么用. 而 DeepSWE 纯靠模型自己摸索, 非常像现实中修改项目代码的过程. 我觉得是涵盖了一部分工程能力测试的. 另外 SWE-Bench-verified 测得大部分都是 Python, 而 DeepSWE 则涵盖了TypeScript、Go、Python、JavaScript、Rust. 所以我强烈建议关注大模型编程能力测试的同学过关注一波这个测试. #DeepSWE# #SWEBench# #glm# #kimi#

浓眉大眼的谷歌也开始Benchmaxxing了，Gemini 3.8 Flash在DeepSWE上都给刷到第2了，实际是那么回事吗？上下文一长就完全不可靠，看看这排行榜里的执行步骤数，都干到166了，比爱思考的DeepSeek V4 Pro还要高(但还是好过瞎思考的Sonnet 5)。 还我Gemini 3.7 Flash，我能接受Flash模型笨一点，简单任务能干好，写作能写好就行。

DeepSeek又偷偷更新了！V4.1-Flash-1017这周刚出，编程和智能体任务直接干翻一堆大模型，DeepSWE打到77分，比Opus 5还高一点。价格还是便宜到离谱，做个任务就几毛钱。复杂推理还是差点意思，但性价比真的香，开源还能自己跑。 DeepSeek继续走“够用+极便宜+开源”的差异化路线。V4.1-Flash-1017在智能体与编码场景竞争力很强，对成本敏感的开发者、企业自动化非常有吸引力；若追求最强纯推理或最复杂长程任务，顶级闭源模型（如Claude Opus系列）仍有优势。

？？？家人们出来看上帝现身了！ @deepseek_ai 刚刚正式发布了V4.1-Flash-1017，网页、App、API 已经同步更新，模型权重也一起开放了。 在DeepSWE v1.1上，新版 Flash 在 max 档跑到了 77% 的通过率，按图里的坐标估读，每个任务平均花费大约 1.3 元。 图中 Claude Opus 5 的 max 档，通过率约 74%，每个任务大约 80 元。 也就是说，按这张图的比较，通过率更高，任务费用大约只有六十分之一。 再看它自己的上一版，同样是 max 档，通过率从 74.2% 提升到 77%，每个任务的费用从大约 3.3 元降到 1.3 元，降了约六成。 这个成本变化，对做 Agent 的人来说太实在了。 其他评测也一起涨了。 表里列出的 11 项测试，相比上一版全部提升。 其中 Terminal-Bench 4.0 从 31.2 涨到 42.3，一次提高 11.1 个百分点；ProgramBench 从 20.3 涨到 29.1。 另外，Automation-Bench 跑到 60.5，Agents’ Last Exam 跑到 35.4，Apex Bench 跑到 72.1。 加上 DeepSWE，在这张对照表里拿了四项第一。 官方还提到，这次通过基于自反馈的强化学习，增强了从零开发完整项目的能力，包括游戏开发、3D 建模。 同时缩短了任务运行时间和输出长度，并针对 DeepSeek Harness、腾讯 CodeBuddy、WorkBuddy 做了优化。 别忘了，这个模型名字后面还挂着个 Flash。

在我睡觉之前，我觉得还是得记录一下这么疯狂的一夜。 首先是 Gemini 3.8 Flash 发布了。 它用一个非常夸张的低成本，拿到了非常高的 DeepSWE 分数，短暂地拿到了世界第一。 当时我就在想，这个模型太离谱了，似乎 @GeminiApp 回来了。 结果就过了几个小时， @AIatMeta 又发布了新的 Muse Spark 1.3，然后它又把 Gemini 反超了过去。 但我觉得今晚真正有意思的，其实还不是这两个模型谁第一谁第二。 我印象最深的，反而是 @mostik_ai 那个团队做的事情。 这个东西我觉得才是真正有意义的地方。 因为它其实揭示了一种可能性，就是以后大模型之间，也许根本不需要通过自然语言去通信。 它们可以直接通过潜空间交换信息。 这个项目现在肯定还非常早期，我也不知道最后能不能真的跑通，但如果这个方向是对的，我觉得它可能会把大模型的推理成本再往下降一个非常夸张的级别。 甚至我在想，未来有没有可能是这样： 你的手机上其实只需要跑一个 0.xB 的模型。 平时很多事情它自己处理，遇到复杂问题的时候，它再去和远程的大模型通信。 但这个通信不是像现在这样，传一大堆自然语言、一大堆 token。 而是直接在潜空间里传一些压缩过的信息。 如果最后真的能做到，那可能只需要今天几分之一，甚至更低的成本，就能完成现在同样的推理。 所以我觉得今晚挺有意思的。 表面上看，是 Gemini 和 Meta 又在抢世界第一。 但我现在反而越来越觉得，真正会改变未来几年 AI 成本结构的东西，可能根本不是谁的模型又高了几分。 而是我们会不会找到一种方式，让模型之间根本不用“说人话”。 晚安。 PS：该死的，居然被Alex嘲讽回来了。