AI 在数学和科学上的进步正在制造一个意想不到的问题:当模型的能力超过几乎所有人类的判断力,谁来验证模型的输出?
这不是 benchmark 精度问题,而是评估基础设施的结构性盲区。
过去两年,AI 从做不对基础数学题,到现在以不到 2000 美元的 API 成本完成需要领域专家才能判断对错的证明。对绝大多数人,包括大多数工程师,模型输出已经进入了看起来都对但不知道是不是真对的地带。
在编程领域,你还能跑测试。
在数学、理论物理、生物信息学这些领域,你只能相信另一个专家或另一个模型来告诉你答案对不对。
这引出一个更深的困境:当 AI 的能力评估必须依赖 AI 自己来完成,评估闭环就变成了内部循环。系统在给自己打分,而我们只能旁观。
严肃建设者应该关注的不是模型有多强,而是人类验证能力正在成为整个系统最薄弱的环节。