推荐这篇文章。一个 agent 评测系统被自己的评分骗了整整一周——两个标准在互相拉扯，总分却看起来正常。 Similarweb 的高级 AI 工程师 Liora Korni 在 7 月 29 日 LangChain 博客上分享了一篇实战文章：如何评估一个生成长篇研究报告的 agent 系统。文章的价值不在方法论本身——LLM-as-judge 和 rubric 都不是新概念——而在他们把评估当作产品架构的一部分来做的具体教训。 两种输出，两种评估方式 Similarweb Data Studio 是一个 agent 系统：用户用自然语言提问，agent 规划、调用数据工具、检索数字、写出答案。它要处理两类完全不同的输出： 普通对话：聚焦问题，答案形状可预期。评估方法简单——golden answer + semantic judge 判断"是否表达了同样的意思"。 深度研究报告：长文输出，包含来源、解读、建议、风险提示和叙事结构。同一问题可能有多种好的答案。Golden answer 不适用——匹配 gold answer 只会奖励相似性而不是质量。 Rubric 方案 深度研究报告的评估用 rubric prompts：每个质量维度有自己的评分锚点。例如 source_integration 标准： • 0.0：纯粹依赖单一数据 API，无外部上下文 • 0.3：模糊引用"行业报告"但不点名 • 0.8：引用多个带名称、日期、数字的来源 • 1.0：广泛使用归因明确、融入叙事的来源 每个维度返回分数 + 解释 + 差距说明。不只是一个数字。 除此之外还加了 faithfulness check：每个声明是否真的来自检索数据？还是 agent 夸大了来源支持的内容？ 最贵的教训：花了整整一周跟自己的评估打架 文章里最值得读的部分：一次 prompt 的小改动让总体评分下降。 他们花了一周反复 revert、调整、re-run。报告每次看起来都很好，但数一直在说不。最后有人打开逐标准评论才发现——新版报告引用了更多来源（提高了 source breadth），但这些来源都是模糊的（拉低了 attribution）。两个标准互相拉扯，总分隐藏了冲突。 修复了评分锚点后（从"引用更多来源"改为"引用命名、可验证的来源"），同一个报告的分数从 0.7 降到了 0.3，数值终于匹配了评论一直在说的东西。 核心教训：一个校准错误的评估比没有评估更糟糕，因为它给你虚假的信心。 最终的评估循环 1. 从假设开始 2. 跑一个小评估获取信号 3. 检查反馈评论和 traces 4. 跑完整 benchmark 并重复 5. 与 baseline 或 A/B 输出对比 6. 决定合并、迭代还是重新校准 原文： #AgentEvaluation# #LLMasJudge# #LangSmith#

Agent Evaluation 是我觉得为数不多还需要人力去做判断、将来很难被AI 彻底取代的职业方向。我给大家找了一个非常好的学习资料入门：Hugging Face 的公开 Training Agent 课程 学完了，你应该会有更强的 sense，判断 AI 时代下哪些工作更适合人来做 这个资料是公开的，视频都在 Hugging Face 的 YouTube 频道，代码全部开源，下面有这六节： 1、Agentic Evaluations Workshop：怎么评价一个 Agent。 这一章节去看：为什么 benchmark 分数和真实使用体验对不上？目前 Agent Eval 做到了哪一步，还有哪些问题没解决。先把“怎样才算一个好 Agent”，等等都有 cover 2、RL for Agents Workshop：给 Agent 做强化学习，难在哪 这一章节去关注：从 LLM 的 RL 走到 Agent 的 RL，会多出哪些难点？环境怎么搭、rollout 怎么跑、reward 怎么设计，以及训练过程中推理为什么会成为 bottleneck 3、SFT on agent traces：用 Agent 的执行轨迹做微调 这一章节去关注：拿公开的 coding-agent traces（执行轨迹）整理成训练数据，用 TRL + LoRA 做 SFT，在 Hugging Face Jobs 上跑，用 Trackio 看指标。基本带着走了一遍小型的微调流程 4、Distillation：把大模型的能力蒸馏给小 Agent 这一章节去关注：怎么把 teacher model 的能力转移给更小的 coding agent。off-policy、on-policy、self-distillation 都会讲，看看这几种蒸馏方式分别怎么做 5、Reinforcement Learning：SFT 之后，怎么继续用 RL 训练 这一章节去关注：用 GRPO 接着训练，讲 group sampling、可验证的 reward，以及 reward、KL、输出长度这些曲线怎么看。看 Agent 怎么 reward hacking 6、From reward functions to environments：让 Agent 在真实环境里学习 这一章节去动手：从 reset()/step() 接口讲起，用 OpenEnv 搭环境、上传到 Hub，再接入 TRL 的 GRPOTrainer。最后通过 Harbor 和 Hugging Face sandboxes，用 AsyncGRPOTrainer 训练真正的 coding agent：OpenCode。让 Agent 在环境里采取动作、拿到反馈，再继续训练