推荐这篇，Hamel Husain——世界上最懂 AI eval 的实践者之一——说了一句话："这东西很难评估"本身就是一个产品气味。 如果你不给用户提供可检查的中间产物，他们就会重做一遍你的工作来验证输出。那你的产品对他们的价值是什么？ "这东西很难评估"是一个产品气味 我在 AI eval 上做了三年。最常听到的反对是"我们的产品很难评估"。这个反对本身就是一个产品气味——对你来说难验证的东西，对用户也难。 更重要的事：设计一个易于验证的产品，应该在写 eval 之前。 例 1：AI 数据分析 agent 几乎所有公司都在建内部分析 agent。问他一个业务问题，他找数据源、跑查询、给答案。目的是降低对数据分析师的依赖。 最常见的错误：把"答案"作为唯一的输出。 界面上只有一个数字——"Product A 上季度净收入：$4.21M"。用户除了重新做一遍之外没有其他方式验证。更好的设计不是隐藏过程，而是给用户可检查的 artifact。 一个数据分析师验证指标时会做六件事：对照可信源检验中间计算过程和总量数字、确认指标精确定义、检验相关量的合理性、拆开聚合数字按维度分解、读 SQL、记录无法验证的部分。 一个好的 AI 数据分析 agent 应该做同样的事——在回答里展示来源、假设和无法验证的问题。用户可以点击打开一个 Notebook 查看完整分析：agent 做的假设、跑的查询、按地区的分解分布、显式列出"无法验证的部分"，每一项都作为可运行的 cell 保留，让用户可以继续深挖。 这对 eval 意味着什么 如果你的产品设计成便于验证，标注成本就会降低，eval 会有更好的信号可以抽取。更重要的是，你会给用户一个更好的产品。 例 2：PE 教案生成器 一个创始人做的产品：老师输入约束（年级、时长、室内/室外、器材），AI 写一份教案。 "怎么评估教案好坏？"——Hamel 把问题反过来了：老师在意什么？ 最快的方式是看到"一个和你一样的老师已经用过的教案"。一个好的设计：不是从零生成教案，而是从一个被审核过的、14 所学校在用、今年跑了 30+ 次的可信教案出发，然后只展示改了哪几处——"缩短到 45 分钟，改热身从 2 圈到 1 圈""匹配你的器材，4 站变 3 站"。老师审核的不是一个完整教案，而是一个 diff——认知负荷大幅降低。eval 也变得更可追踪：只需要验证检索出的教案是否合理，以及每个修改是否遵守约束。 例 3：工伤医学报告 一个产品从病历（MRI、理疗记录、体检报告）生成 50 页专家意见。问题是：医生要对报告负责，所以他们会重新读一遍全部病历、逐条核查——用时和从零写一份一样长。产品没价值。 Hamel 建议把产品做成研究助手而不是报告生成器。先读每份病历，提取相关事实，附上链接让医生可以核查。两份检查意见矛盾？标出来。影像资料缺失到现在状态不确定？标出来。事实审查完毕后，"生成报告"按钮才出现——报告由已经核查过的事实组装而成。 这样设计让每个单元可以独立评分：这个矛盾是真的吗？这个引用支持这个主张吗？ 这个模式可以泛化 问这四个问题：用户实际需要检查什么？他们能和什么可信的东西对比？专家用什么信号或启发式做验证？哪些更小的单元可以被接受、编辑或拒绝？ 一条贯穿所有例子的线索是来源。让输出可检查的最快方式，是展示每个部分从哪里来，带上链接查看细节。用渐进式披露让这些来源不会压垮用户。 即使一个产品看起来"容易评估"（比如你写出了能跑通的代码），最优秀的产品仍然在让工作更可检查——Cursor 和 Devin 都录制 UI 变更的短视频，让你确认工作的正确性而不需要自己复现。 这些都不是新东西 这些都是老的设计原则——观察专家的领域叫 needfinding，医疗诊断里的结构化理解叫 sensemaking。但在 AI 时代前，验证通常发生在创建产品的过程中，是附带的。在 AI 时代，验证是瓶颈。 是时候更显式地思考它了。 原文：Hamel Husain, ""It's Hard to Eval" Is a Product Smell", 2026-06-29 #AI产品# #Eval# #产品设计#

当人类还在争论牛市、熊市时， 哈基米早已被写进了拜占庭。 哈门。🐈✨ While humanity was still arguing over bull and bear markets, Hajimi had already been written into Byzantium— Hamen. ☦️ #哈基米# #hajimi# #hakimi# #hachimi#