Claude Fable 5 是 DeepSWE 记分板上最贵的模型。Together AI 拿它跟全场最便宜的模型各跑了 452 次，给出的用法建议是反过来：贵的当后手。 《DeepSWE 上的 DeepSeek V4 Pro 0813 vs Claude Fable 5：成本、编码与路由》 DeepSWE 上的 DeepSeek V4 Pro 0813 vs Claude Fable 5：成本、编码和路由 要点 • 先跑 DeepSeek V4 Pro 0813，只有它失败时才升级到 Claude Fable 5。这条级联链解决 82.7% 的 DeepSWE 任务，每个任务 8.28 美元。单用 Fable 是 69.7%、每个任务 21.63 美元。高 13 个百分点，便宜 62%。 • Fable 赢第一发。pass@1 69.7% 对 62.8%，领先 7 个点。 • Pro 赢之后每一发。pass@2 打平（78.5% 对 77.1%），pass@4 领先（88.5% 对 84.1%）。 • 价格差 90 倍。每次 rollout 0.24 美元对 21.63 美元。每花 100 美元，Pro 解决 260 个任务，Fable 解决 3 个。 • 它们栽在不同的任务上。逐任务相关性只有 0.39，是我们测过的分歧最大的一对。两者合计覆盖 113 个任务中的 107 个。分歧正是路由能成立的全部理由。 现已上线 · 美国托管：在 Together AI 上运行 DeepSeek-V4 Pro 0813——1.05M 上下文，支持 function calling 和 JSON mode，OpenAI 兼容 API，托管在美国基础设施。查看模型 在我们对 DeepSeek V4 Pro 0813 与 Claude Fable 5 的 DeepSWE 对比中——DeepSWE 是一个跨多种任务类型和编程语言测试模型软件工程能力的基准——这两个模型坐在价格表的两端。Claude Fable 5 的每次 rollout 是 DeepSWE 全榜最贵。DeepSeek V4 Pro 0813 是最便宜的之一。Fable 首发的准确率高 7 个百分点，单次 rollout 却贵 90 倍，所以真正的问题不是哪个模型更好，而是这 90 倍的溢价到底买到了什么、什么时候值得付。 DeepSWE · 正面对决 DeepSeek V4 Pro 0813 vs Claude Fable 5 一览 • claude-fable-5 [max]：pass@1 69.7% ± 2.3%，平均成本 21.63 美元，每 100 美元解决 3 个任务，输出 token 115k，79 步 • deepseek-v4-pro-0813 [max]：pass@1 62.8% ± 3.1%，平均成本 0.24 美元，每 100 美元解决 260 个任务，输出 token 101k，146 步 我们在全部 113 个 DeepSWE 任务上，用 DeepSeek V4 Pro 0813（max）对 Claude Fable 5（max）各跑四次 trial，取自已发布的逐 trial 记录：总计 904 次 rollout（各 452 次）。Fable 是贵价的手艺人；Pro 是性价比上的异类。这两个模型的分歧也大于这套数据里的任何其他组合——结果这成了它们最有趣的地方。下文的每个数字都来自本次运行，所以可能与其他公开的 DeepSeek V4 Pro 0813 vs Claude Fable 5 记分卡有出入。 DeepSWE 记分板：pass@1 与 pass@k 单发，Fable 领先：pass@1 69.7% 对 Pro 的 62.8%（官方计分）。但这个领先很脆弱。两次尝试时 Pro 追平（78.5 对 77.1），四次尝试时 Pro 的 pass@4 88.5% 比 Fable 的 84.1% 高出 4 个多百分点。对一个贵 90 倍的模型来说，Fable 既没有守住天花板，也没有在重试下保住首发优势。更便宜的模型覆盖更广，best-of-k 也更高。 成本对比：DeepSeek V4 Pro 0813 vs Claude Fable 5 的价格 每次 rollout 0.24 美元，DeepSeek V4 Pro 0813 比 Fable（21.63 美元）便宜 90 倍：每 100 美元解决 260 个任务，Fable 只有 3 个。这是我们测过的所有组合里最宽的成本差距，Fable 也是榜单上最贵的单个配置。而且与直觉相反，低价格没有带来速度惩罚：Fable 的中位 rollout 31 分钟，Pro 35 分钟，基本持平——因为 Fable 是榜单上话最多的模型（115k 输出 token），尽管它的步数更少（79 对 146）。Pro 走的步数多；Fable 每步写得多。两个模型谁也没有明显更快。 失败模式：两个模型分别怎么错 两者在「不破坏东西」上都算自律：DeepSeek V4 Pro 0813 和 Fable 各自只在 11% 的失败里回归了现有测试套件，远低于 GPT 家族的 20%。差别在另一个方向：Fable 的大偏差失误占比是这里最高的（18% 对 Pro 的 10%），也就是说 Fable 一旦错，更常是错得离谱——给出离题很远的方案，而不是差一个边界用例。Pro 更多时候倒在离正确答案不远的地方（66% 的近似失手，对 Fable 的 57%）。所以两者都可以不加重度回归门禁就放心接入，但 Fable 的失手是调试成本更高的那种。 按任务类型，各自赢在哪 Fable 的手艺体现在推理重、契约精确的领域：8 个领域里它赢 6 个，领头的是数据建模与序列化（88%，比 Pro 高 24 个点）和语言内部机制（78）。但 DeepSeek V4 Pro 0813 拿下两个，两个都分量不轻：有状态响应式（66 对 64），以及——更有说服力的——并发与持久化（58 对 45）：在恰恰是 Fable 最弱的领域里领先 13 个点。Fable 在并发上的 45% 是它最弱的格子，也是唯一一个便宜模型不只是更便宜、而是工程师水平更高的领域。 按编程语言 Fable 赢下五种语言里的四种，但真正对得起它价格的是 Rust：85% 对 Pro 的 65%，20 个点的差距，也是这场对决里最大的一处差距。Fable 显然是序列化和 Rust 专家。其他语言都比价格暗示的接近（Python 70 对 60，Go 71 对 67，JavaScript 75 对 65），DeepSeek V4 Pro 0813 则实际拿下 TypeScript（61 对 57）。Rust 和序列化之外，付 90 倍价格的理由很难成立。 这两个模型到底有多不一样？ 亮点在这里。逐任务相关性只有 0.39，是我们测过的 DeepSeek-Pro 组合里最低的——这两个模型是真心意见不合。它们各自解决了 88 个任务；Pro 单独拿下 12 个，Fable 单独拿下 7 个，只有 6 个任务两边都栽。两者的并集覆盖 113 个任务中的 107 个（94.7%），而且分歧是双向的：DeepSeek V4 Pro 0813 在 awilix-async-container-initialization 上四发四中，Fable 一次没成；Fable 在四个 Pro 全挂的任务上四发四中（包括 koota-query-predicates 和 testem-bail-on-test-failure）。这是真正的互补，不是冗余。 在两者之间路由：组合打法 多样性加上价格差，让级联变得很划算。先跑 DeepSeek V4 Pro 0813，只有测试套件否决答案时才升级到 Fable：82.7% 的解决率，每个任务 8.28 美元。比单用 Fable（69.7%）高 13 个百分点，价格不到 Fable 单任务价格（21.63 美元）的一半。廉价的第一阶段清掉大部分队列，Fable 的溢价只花在难啃的剩余任务上，而且那些任务在上面还多获得一次独立的尝试。级联甚至赢过完美的一次性 oracle 路由（78.8%）。顺序不是可选项：Pro 先行每个任务 8.28 美元，Fable 先行 21.71 美元，准确率一样。 这意味着什么 Fable 5 是这张榜单上最难被当作默认模型的：最贵的一次 rollout 遥遥领先，首发优势被重试抹平，四发也没有天花板优势。只为两件事买它：Rust（85%）和序列化密集的工作（88%）——只有在这里它的质量才真正对得起价格。 DeepSeek V4 Pro 0813 是相反的画像：首发准确率接近 Fable，天花板更高，失败画像持平或更好，便宜 90 倍——尽管它在 Rust 和契约精确的领域让位。而因为两者是我们测过最多样的一对，Fable 最好的用法不是当默认，而是躲在低成本的 Pro 第一阶段后面做选择性升级，只在那少数真需要 Rust 或序列化专家的任务上付费。 现已上线 · 美国托管：在 Together AI 上运行 DeepSeek-V4 Pro 0813——1.05M 上下文，支持 function calling 和 JSON mode，OpenAI 兼容 API，托管在美国基础设施。查看模型 数据表：DeepSeek V4 Pro 0813 vs Claude Fable 5 完整结果 DeepSWE · 完整结果 • Pass@1（官方计分）：Pro 62.8%，Fable 69.7% • Pass@1（错误计为失败）：62.8%，67.3% • Pass@2 / pass@4：78.5 / 88.5%，77.1 / 84.1% • 覆盖率 / 可靠性：88.5 / 71.0%，84.1 / 82.0% • 四发四中 / 全挂：35 / 13，56 / 18 • 每次 rollout 成本 / 总成本：0.24 美元 / 109 美元，21.63 美元 / 9,346 美元 • 每 100 美元解决数：261，3 • 中位分钟 / 步数：35 / 146，31 / 79 • 中位峰值上下文 / 输出 token：232k / 101k，202k / 115k • 失败构成（近似 / 大偏差 / 回归）：66% / 10% / 11%，57% / 18% / 11% • 赢下的领域（共 8 个）：2（有状态、并发），6 • 赢下的语言：1（TypeScript），4（Rust 大胜） • 逐任务相关性 / 并集（两模型合计）：0.39 / 113 中的 107（94.7%） • Pro → Fable 级联（准确率 / 成本）：82.7% / 8.28 美元（单用 Fable 69.7% / 21.63 美元） • 单发 oracle 路由：78.8% • 基础设施错误：0，16 FAQ DeepSeek V4 Pro 0813 比 Claude Fable 5 更好吗？ 看指标。Claude Fable 5 赢 DeepSWE 上的单次尝试质量（pass@1 69.7% 对 62.8%），四发四中的任务也更多（56 对 35）。DeepSeek V4 Pro 0813 在 pass@2 追平、pass@4 反超（88.5% 对 84.1%），且每次 rollout 便宜 90 倍，所以在大批量或容忍重试的 agent 工作里，它是更强的性价比之选。 DeepSeek V4 Pro 0813 比 Claude Fable 5 便宜多少？ 在我们的运行里，DeepSeek V4 Pro 0813 每次 rollout 0.24 美元，Claude Fable 5 满血档 21.63 美元，约便宜 90 倍。按解决的任务算，Pro 每 100 美元解决 260 个，Fable 是 3 个——每美元的产出大约差 80 倍。 编码该用 DeepSeek V4 Pro 0813 还是 Claude Fable 5？ 大多数编码工作，两者的差距比价格暗示的小。Claude Fable 5 领先 Rust（85 对 65）、Python、Go 和 JavaScript，赢下 8 个领域中的 6 个，领头的是数据建模与序列化。DeepSeek V4 Pro 0813 拿下 TypeScript（61 对 57）、有状态响应式，以及并发与持久化（58 对 45）——那正是 Fable 最弱的领域。 要不要在 DeepSeek V4 Pro 0813 和 Claude Fable 5 之间做路由？ 要，前提是你能验证结果。两者是我们测过的所有组合里逐任务相关性最低的（0.39），合计覆盖 113 个任务中的 107 个。先跑 DeepSeek V4 Pro 0813，当测试套件否决输出时升级到 Claude Fable 5，能达到 82.7%、每个任务 8.28 美元——赢过单用 Fable，也赢过完美的一次性 oracle 路由。 DeepSWE 的 pass@k 是什么？ pass@k 衡量一个任务在 k 次尝试中是否至少有一次通过隐藏测试套件。pass@1 奖励一次做对；更高的 k 奖励能在多次尝试后最终到达方案的模型。DeepSeek V4 Pro 0813 的优势随 k 增大而扩大。 原文： #DeepSWE# #AI编程# #LLM评测#