大家日常高频使用 AI 的，应该都有这个痛点：AI 足够聪明能把任务跑完，但是！距离结果好到我能直接用，中间还有很长一段距离，有的时候 AI 的结果好得一塌糊涂，但就未必是我想要的 这个事情的解药在于Evaluations，AI 评估：我觉得每个想认真用 AI 的人都值得理解。我用 AI，越来越把重心放在 Evaluations上：什么叫做好，怎么验收，犯过的错怎么减少？ 今天结合我自己的的工作流，尝试把这件事彻底讲清楚 1/ 把“我觉得不行”，变成具体的验收标准 我之前分享过，让不加以特化的 AI 解读研报，有时每个字都认识，连起来却看不懂，还得追问好多轮。 它确实写完了。但我需要的是：读完能讲清楚公司靠什么挣钱、发生了什么变化，以及变化怎么影响盈利和估值。 所以，当前的工作流我会检查：数字有没有原始出处？季度和全年有没有混用？公司指引、券商预测、自己的判断有没有分开？市场 price in 预期的反推和我自己的建模 gap 在哪里？市场有哪些错误的逻辑？是否错杀？是否超买 Eval，就是把心里“这样才算做好”的标准，变成能反复执行的检查 能算清楚的，用程序检查；“有没有解释清楚”这种开放问题，就写成 rubric，评分标准，配上好坏案例，让 AI 辅助评判、人来校准。久而久之，你的私有化模型会越来越好 2/ 让它在真实工作的条件下接受测试，留下错误记录，持续进步 一套 eval，基本就是：Agent + 工作环境 + 任务 + 验收标准 以前 AI 输入文字、输出文字。现在 Agent 会开网页、读文件、改笔记。我会明确地写 skill 和 prompt，让 AI 去记录下来自己曾经做错了什么事情，然后再让它进行自更新（也就是 RSI），最后再让它把错误的部分重新再做一遍。 久而久之，模型的效果会越来越好。通常我会让AI做两件事情： 1. 对公司基本面短期、长期的判断 2. 实际的股票操作 回溯：哪些判断对了，就继续加强；哪些判断错了，就让模型记住错误的原因，下次不要再犯。久而久之，模型会变得出乎意料的好 3/ Evaluation 非常重要 这就是为什么目前我的每一个工作流或者工作体系，我都会写好 Evaluation 和自进化的规则。AI 顶尖聪明了，但问题就是，它有的时候认为它做的正确的方式，未必是你想要的 有了可靠的标准，AI 就可以帮忙找失败、提修改方案，再接受验证。人仍要定义什么是好，并确认评分规则衡量的确实是自己在乎的东西。 因此我建议大家如果想让 AI 把工作做好，先把“什么叫做好”写清楚