Xudong Han(@Xudong07452910):Agent 出错以后，到底该修模型，还是修 harness？ Scale AI 这篇《Model or Harness?》专门研究 Agent 的故障定位。今天的 Agent 已经是一个复杂系统：模型之外，还有 Context、Memory、Tool、Grader、用户和运行环境。最后看到的失败结果相同，背后的原因可能完全不同。比如 Agent 忽略了一条早期指令。可能是上下文压缩把它删掉了，需要改 harness；也可能信息一直都在，只是模型没有正确使用，这时才该训练模型。论文整理了 41 类常见失败，并把每个问题定位到具体的「组件交互 + 责任方」。这样一次失败就能进一步回答：该做模型 post-training，改 context / memory / tool，还是重新设计环境和评测。作者还让不同前沿模型独立给失败案例分类，最好的结果与人工标注达到 Cohen’s κ = 0.76，说明这套分类有一定一致性。我觉得这篇很适合现在的 Agent 发展阶段。随着 harness 越做越复杂，「Agent 失败了」这个结论已经太粗了。真正有用的 debugging，要继续追到第一处无法恢复的错误，再决定到底该修哪一层。 📎 arxiv:

2026.08.08 04:00

Agent 出错以后，到底该修模型，还是修 harness？ Scale AI 这篇《Model or Harness?》专门研究 Agent 的故障定位。今天的 Agent 已经是一个复杂系统：模型之外，还有 Context、Memory、Tool、Grader、用户和运行环境。最后看到的失败结果相同，背后的原因可能完全不同。比如 Agent 忽略了一条早期指令。可能是上下文压缩把它删掉了，需要改 harness；也可能信息一直都在，只是模型没有正确使用，这时才该训练模型。论文整理了 41 类常见失败，并把每个问题定位到具体的「组件交互 + 责任方」。这样一次失败就能进一步回答：该做模型 post-training，改 context / memory / tool，还是重新设计环境和评测。作者还让不同前沿模型独立给失败案例分类，最好的结果与人工标注达到 Cohen’s κ = 0.76，说明这套分类有一定一致性。我觉得这篇很适合现在的 Agent 发展阶段。随着 harness 越做越复杂，「Agent 失败了」这个结论已经太粗了。真正有用的 debugging，要继续追到第一处无法恢复的错误，再决定到底该修哪一层。 📎 arxiv: