推荐这篇，Hamel Husain——世界上最懂 AI eval 的实践者之一——说了一句话："这东西很难评估"本身就是一个产品气味。 如果你不给用户提供可检查的中间产物，他们就会重做一遍你的工作来验证输出。那你的产品对他们的价值是什么？ "这东西很难评估"是一个产品气味 我在 AI eval 上做了三年。最常听到的反对是"我们的产品很难评估"。这个反对本身就是一个产品气味——对你来说难验证的东西，对用户也难。 更重要的事：设计一个易于验证的产品，应该在写 eval 之前。 例 1：AI 数据分析 agent 几乎所有公司都在建内部分析 agent。问他一个业务问题，他找数据源、跑查询、给答案。目的是降低对数据分析师的依赖。 最常见的错误：把"答案"作为唯一的输出。 界面上只有一个数字——"Product A 上季度净收入：$4.21M"。用户除了重新做一遍之外没有其他方式验证。更好的设计不是隐藏过程，而是给用户可检查的 artifact。 一个数据分析师验证指标时会做六件事：对照可信源检验中间计算过程和总量数字、确认指标精确定义、检验相关量的合理性、拆开聚合数字按维度分解、读 SQL、记录无法验证的部分。 一个好的 AI 数据分析 agent 应该做同样的事——在回答里展示来源、假设和无法验证的问题。用户可以点击打开一个 Notebook 查看完整分析：agent 做的假设、跑的查询、按地区的分解分布、显式列出"无法验证的部分"，每一项都作为可运行的 cell 保留，让用户可以继续深挖。 这对 eval 意味着什么 如果你的产品设计成便于验证，标注成本就会降低，eval 会有更好的信号可以抽取。更重要的是，你会给用户一个更好的产品。 例 2：PE 教案生成器 一个创始人做的产品：老师输入约束（年级、时长、室内/室外、器材），AI 写一份教案。 "怎么评估教案好坏？"——Hamel 把问题反过来了：老师在意什么？ 最快的方式是看到"一个和你一样的老师已经用过的教案"。一个好的设计：不是从零生成教案，而是从一个被审核过的、14 所学校在用、今年跑了 30+ 次的可信教案出发，然后只展示改了哪几处——"缩短到 45 分钟，改热身从 2 圈到 1 圈""匹配你的器材，4 站变 3 站"。老师审核的不是一个完整教案，而是一个 diff——认知负荷大幅降低。eval 也变得更可追踪：只需要验证检索出的教案是否合理，以及每个修改是否遵守约束。 例 3：工伤医学报告 一个产品从病历（MRI、理疗记录、体检报告）生成 50 页专家意见。问题是：医生要对报告负责，所以他们会重新读一遍全部病历、逐条核查——用时和从零写一份一样长。产品没价值。 Hamel 建议把产品做成研究助手而不是报告生成器。先读每份病历，提取相关事实，附上链接让医生可以核查。两份检查意见矛盾？标出来。影像资料缺失到现在状态不确定？标出来。事实审查完毕后，"生成报告"按钮才出现——报告由已经核查过的事实组装而成。 这样设计让每个单元可以独立评分：这个矛盾是真的吗？这个引用支持这个主张吗？ 这个模式可以泛化 问这四个问题：用户实际需要检查什么？他们能和什么可信的东西对比？专家用什么信号或启发式做验证？哪些更小的单元可以被接受、编辑或拒绝？ 一条贯穿所有例子的线索是来源。让输出可检查的最快方式，是展示每个部分从哪里来，带上链接查看细节。用渐进式披露让这些来源不会压垮用户。 即使一个产品看起来"容易评估"（比如你写出了能跑通的代码），最优秀的产品仍然在让工作更可检查——Cursor 和 Devin 都录制 UI 变更的短视频，让你确认工作的正确性而不需要自己复现。 这些都不是新东西 这些都是老的设计原则——观察专家的领域叫 needfinding，医疗诊断里的结构化理解叫 sensemaking。但在 AI 时代前，验证通常发生在创建产品的过程中，是附带的。在 AI 时代，验证是瓶颈。 是时候更显式地思考它了。 原文：Hamel Husain, ""It's Hard to Eval" Is a Product Smell", 2026-06-29 #AI产品# #Eval# #产品设计#

大家日常高频使用 AI 的，应该都有这个痛点：AI 足够聪明能把任务跑完，但是！距离结果好到我能直接用，中间还有很长一段距离，有的时候 AI 的结果好得一塌糊涂，但就未必是我想要的 这个事情的解药在于Evaluations，AI 评估：我觉得每个想认真用 AI 的人都值得理解。我用 AI，越来越把重心放在 Evaluations上：什么叫做好，怎么验收，犯过的错怎么减少？ 今天结合我自己的的工作流，尝试把这件事彻底讲清楚 1/ 把“我觉得不行”，变成具体的验收标准 我之前分享过，让不加以特化的 AI 解读研报，有时每个字都认识，连起来却看不懂，还得追问好多轮。 它确实写完了。但我需要的是：读完能讲清楚公司靠什么挣钱、发生了什么变化，以及变化怎么影响盈利和估值。 所以，当前的工作流我会检查：数字有没有原始出处？季度和全年有没有混用？公司指引、券商预测、自己的判断有没有分开？市场 price in 预期的反推和我自己的建模 gap 在哪里？市场有哪些错误的逻辑？是否错杀？是否超买 Eval，就是把心里“这样才算做好”的标准，变成能反复执行的检查 能算清楚的，用程序检查；“有没有解释清楚”这种开放问题，就写成 rubric，评分标准，配上好坏案例，让 AI 辅助评判、人来校准。久而久之，你的私有化模型会越来越好 2/ 让它在真实工作的条件下接受测试，留下错误记录，持续进步 一套 eval，基本就是：Agent + 工作环境 + 任务 + 验收标准 以前 AI 输入文字、输出文字。现在 Agent 会开网页、读文件、改笔记。我会明确地写 skill 和 prompt，让 AI 去记录下来自己曾经做错了什么事情，然后再让它进行自更新（也就是 RSI），最后再让它把错误的部分重新再做一遍。 久而久之，模型的效果会越来越好。通常我会让AI做两件事情： 1. 对公司基本面短期、长期的判断 2. 实际的股票操作 回溯：哪些判断对了，就继续加强；哪些判断错了，就让模型记住错误的原因，下次不要再犯。久而久之，模型会变得出乎意料的好 3/ Evaluation 非常重要 这就是为什么目前我的每一个工作流或者工作体系，我都会写好 Evaluation 和自进化的规则。AI 顶尖聪明了，但问题就是，它有的时候认为它做的正确的方式，未必是你想要的 有了可靠的标准，AI 就可以帮忙找失败、提修改方案，再接受验证。人仍要定义什么是好，并确认评分规则衡量的确实是自己在乎的东西。 因此我建议大家如果想让 AI 把工作做好，先把“什么叫做好”写清楚

读知乎回答有感，浅谈一下后训练 benchmark Any benchmark will be saturated，而随着工业界后训练的发展，reasoning / coding 的 benchmark 越来越泛化 / 众包化。其实 LLM eval 一直是个草台班子，每家都可以有自己的 setting，而任何 setting 只要不被强行统一就存在操作的空间，最早可以调 temperature / top_p / length，后来可以调 harness / setting。 AA 给出了一个相对“规范”的 setting，让大家都听它的而不是野蛮生长，但这并不 make sense。只要评测非中心化就一定存在 noise，任何结果都可以是 cherry pick 后的，而 AA 官方的 95% 置信度结果就成了 judge 模型能力的标杆。 代价是什么呢？模型如果没有很亮眼的 AA 分数，即使精心打磨体感 / working / CUA，无人在意，这本质也是模型要 sell 就要迎合表面主流的评测中心化组织。 至少我们可以从每家基模厂、每个新模型的发榜看出来大家并不会被 AA 所局限，而 OSWorld v2、ALE、TB4 / TB-Sci 等 frontier 众包 benchmark 已经告诉我们：最 frontier 的能力一定是最通用的能力，而 agent 已经站在了单 domain 能力的肩膀上。 现在的职业任务分为三类，已经被 AI 训练好的，无法被 AI 训练的，还在被 AI 训练的。所有能归纳在 Computer Use 的都是第三类，而模型如何解决第三类职业任务仍需要数年的进化。 这些众包 benchmark 越来越变成第三类任务的闭包，决定了未来数个月内基模团队的优化方向，而越是 frontier 的 benchmark 就越有 noise。如果 benchmark 团队不为自己的错题率负责，只会诞生越来越多的错题 benchmark：GPQA-Diamond，HLE，充斥大街的弱模型 judge。 为了消灭 LLM-judge 所引发的不确定性，众包 benchmark 一定会越来越商业化，而 evaluation 一定会在短暂的时间内迎来大洗盘。

推荐这篇文章，LangChain Deep Agents v0.7 发布。 他们把默认的基础指令砍掉了一大半，跑完全部 eval 性能不变。 LangChain 在 7 月 29 日发布了 Deep Agents v0.7。这次更新的核心是把 harness 变薄——基础输入 token 减少 65%（约 6K → 2K），性能不变。 三条瘦身策略 删掉基础 system prompt。 Deep Agents 之前内置了一个通用指南和工具使用说明的 system prompt。v0.7 把它整个砍掉了。 工具描述精简 43%。 内置工具的描述文本被压缩了近一半。 Todo 列表默认关闭。 TodoListMiddleware 不再是默认开启。跨三类 eval（自主任务、多轮对话、长上下文）× 四模型（GPT-5.6 Luna、Gemini 3.6 Flash、Claude Sonnet 4.6、Claude Opus 4.8）的评测显示，关闭 todo 后奖励略优、成本更低。不过有三类场景仍然值得打开：长多步任务、能力较弱的模型、需要可见进度条的 UI 场景。 验证方法 LangChain 用了一个新的 eval 套件来做对照。三个基准类别：Autonomous（编码、数据分析端到端任务）、Conversational（多轮对话）、Long-context（长上下文检索推理）。v0.7 vs v0.6.12 矩阵跑下来，reward 整体持平，token 和成本多数下降。最显著的是 GPT-5.6 Luna：token -34%，成本 -15%，reward +4%。 Anthropic 的影响 博客里直接引用了 Anthropic 刚发的 Claude 5 模型的 context engineering 新规——Claude Code 的 system prompt 被砍掉了 80% 以上，coding eval 毫无下降。两条核心发现： • 接口比示例好。 好的 tool schema 教会模型怎么用工具，比过去流行的 few-shot examples 更有效——示例反而会收窄模型的探索范围。 • 不要重复。 在 system prompt 和工具描述里各说一遍同一个指令，不带来增益。 可配置性 v0.7 让覆盖内置中间件变成一等公民。传一个 middleware= 实例，同名的默认中间件会被原地替换而不是报错。一个实际例子：SummarizationMiddleware 默认在上下文窗口 85% 时用通用 prompt 做摘要——v0.7 可以把它换成： SummarizationMiddleware( model="fireworks:kimi-k3", trigger=("fraction", 0.5), # 50% 就开始摘要 summary_prompt="Summarize the conversation, keeping file paths and decisions verbatim...", ) 破坏性变更 • TodoListMiddleware 默认关闭（可 opt-in） • 移除了 v0.5 中废弃的 backend factories • delete 工具加入默认文件系统工具列表（可通过 allowlist 关闭） 原文： #DeepAgents# #LangChain# #AgentEngineering#

通义发布 Qwen-Audio-3.0-TTS 语音模型 一段参考音能说 16 种语言和 20 种方言 首包延迟做到 300 毫秒级 同一段参考音可以跨 16 种语言念，音色不走样：CV3-Eval 上说话人相似度 16 个语种全部排第一，Plus 平均 82.75 分（百分制，越接近 100 越像本人）。

「我天生就是要當母親的人，我與上帝的聯繫，在我孕育祂的創造物時最為緊密。」 下午開始讀這本據說最近頗熱門的神書，很難得能遇到中文翻譯如此順暢連上面那句也能處理得宜的譯者 ( 突然靈機一動不如拿來當 eval set 改良我的 epub 翻譯工具？🤠

Tada！！一覺醒來人類文明正式進入 GPT-6 家族世代啦！是說毫不意外雞肋般的 terra 正式被踢出門外，從此就是 astra/sol/luna 高中低三階配置打天下！🎉 ( 話說這下子今天得重新 eval 一次 #agentflow# 準備來發佈最新操作指引嚕~🤓

量化研究最怕两件事：偷看未来，和把信号当成订单。 我一好大哥大漠哥@damobianyuan开源了这一套框架。 Factor Forge：因果回放、因子注册、信号引擎、风控闸门、模拟成交，同一套 Strategy.evaluate() 贯通回放和纸交易。 默认不接真金，先把系统做对。 #量化# #开源# #Python#

现在新模型出得这么快，每个人都应该有一套自己的 AI Benchmark。 Every 这家公司最近就在给每个员工做这件事。 方法其实很简单：把你平时最常交给 AI 的几个真实任务留下来，再把每次「这里不对」「这个我会改掉」慢慢变成可检查的规则。 久而久之，你就有了一套只属于自己的 Eval。 很有意思的是，他们内部测试里，GPT-5.6 Luna 在某些人的真实工作上，甚至比更强的模型表现更好。 我觉得这件事以后会很重要。 Benchmark 不应该只回答「哪个模型最强」，还应该回答「哪个模型最适合替我做这件事」。 甚至再往前一步，你每天修改 AI 的那些地方，其实都在暴露自己的判断标准。 如果能把这些判断慢慢沉淀成 Eval，AI 才真的开始学会「什么叫对你来说做得好」。 文章：