登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

Xudong Han
@Xudong07452910
PhD ing @ University of Sussex | LLM & AI Agents AI Agent Product Development Sharing AI tech insights DM for collab 📩
参加 November 2020
658 フォロー中    14K ファン
十个 Agent 都给出同一个答案,也可能一起错。 Google Cloud AI Research 和 Cambridge 这篇 VeriHarness,研究的是长时 Agent 一个非常重要的问题: 任务能跑几十步,但最后的结果到底该怎么验证? 作者发现,多次采样其实会暴露两类信号。 有分歧时,不同 rollout 里往往已经藏着正确答案;全部一致时,也不能直接相信,因为大家可能共享同一个错误。 所以 VeriHarness 做了两件事: 一个 Resolver 专门处理分歧,去源文件、数据和环境里找证据,判断哪个候选更可信。 另一个 Challenger 专门挑战共识,主动检查所有 Agent 都可能忽略的错误、单位、约束和遗漏项。 最后再由同一个底座模型,根据这些证据选择或修改最终结果。 关键是,它不需要更强的 Judge,也看不到标准答案和评分规则。 在 5 个长时 Workspace Benchmark 上,VeriHarness 相比单次 rollout,Gemini 3.5 Flash 平均提升 6.2 分,Claude Opus 4.8 提升 6.4 分。 它的验证 Skill 还会从失败反馈里继续进化。已有的人类 Skill 作为起点后,在 APEX-Agents 上又提升 6.8 分。 长时 Agent 的下一步可以是让它学会主动找证据,怀疑分歧,也怀疑共识。 📎 arxiv:
もっと見る