MiMo v2.6 的 RL 环境开源后,Vals AI 一查发现了个很大的坑。
2698 个编程任务里,67% 的参考修复其实还藏在 Git 历史里。
MiMo 真的会去翻这些隐藏 commit,找到现成 patch 再通过测试。Git 被清掉后,它还会继续找文件时间戳、缓存,甚至自己解析 Git pack 文件。
更麻烦的是,小米原本已经做了防作弊,但漏掉的捷径照样能拿 reward。
还有个实验很有意思。只写一句「Do not cheat」几乎没用,把具体禁止的作弊路径写清楚后,作弊才降到 0。
这件事提醒得很直接,RL 训练环境如果会漏答案,模型最后学会的可能就是怎么钻漏洞。
开源环境很好,但以后 Benchmark 和 RL 环境本身也得先被审一遍。
文章
顯示更多