艾略特(@elliotchen100):众所周知，我们学术很强，这不，新论文来了。这次讲自进化 Agent 面临一个关键的“评估难题”：真正困难的不是生成新的 Harness 修改方案，而是判断这些修改究竟真的有效，还是仅仅源于运气、过拟合，甚至根本没有被触发。新论文提出了一套可审计的“诊断—归因”机制： LLM 负责分析失败原因，并针对提示词、知识、运行时、工具和配置提出修改。确定性程序负责验证修改是否有效触发、是否具有统计显著性，以及能否通过独立的密封测试集。实验覆盖 7 个领域，其中 6 个通过统计验证的领域在密封测试中提升了 9.0–15.5 个百分点，并保留了 86%–147% 的训练阶段增益。核心结论是：真正能够迁移的并不是某一套通用 Harness，而是这套持续发现问题、提出修改，并通过严格评估保留有效改进的“诊断

2026.07.30 14:18

众所周知，我们学术很强，这不，新论文来了。这次讲自进化 Agent 面临一个关键的“评估难题”：真正困难的不是生成新的 Harness 修改方案，而是判断这些修改究竟真的有效，还是仅仅源于运气、过拟合，甚至根本没有被触发。新论文提出了一套可审计的“诊断—归因”机制： LLM 负责分析失败原因，并针对提示词、知识、运行时、工具和配置提出修改。确定性程序负责验证修改是否有效触发、是否具有统计显著性，以及能否通过独立的密封测试集。实验覆盖 7 个领域，其中 6 个通过统计验证的领域在密封测试中提升了 9.0–15.5 个百分点，并保留了 86%–147% 的训练阶段增益。核心结论是：真正能够迁移的并不是某一套通用 Harness，而是这套持续发现问题、提出修改，并通过严格评估保留有效改进的“诊断—归因循环”。

EverMind@evermind

2026.07.30 13:49

Our new paper. Self-evolving agents have a measurement problem. The hard part isn’t generating changes to an agent harness. It’s knowing which changes genuinely helped rather than got lucky, overfit, or never activated at all. LLMs diagnose failures and propose changes across prompts, knowledge, runtime, tools, and configuration. But deterministic code owns the credit: validity checks, activation checks, paired significance testing, and a sealed test. Across 7 domains, the evolved harnesses gained +9.0 to +15.5pp on the 6 statistically credited sealed tests, retaining 86–147% of the training gain. What transfers is not one universal harness. It’s the diagnose-and-credit loop.

Forward to community