agent 训练,也能蒸蒸日上,大幅降低agent训练成本
微软这篇 ReOPD,专治 on-policy 蒸馏太贵
以前每更新一步,学生都得真去环境里跑一遍、再查一次老师,又慢又烧钱
环境越多,钱包越薄
新做法:老师轨迹采一次,存成离线「前缀」池,学生训练直接回放,全程不碰真实环境
一次蒸够,反复用
效果(Qwen3-4B 学 8B):
· 数学+Python:45 → 53.7,每步快 4.2 倍
· 搜索:打平 OPD,每步快 9.1 倍
· 学生训练全程零工具调用
蒸的省钱(不是错别字)
🔗 HuggingFace 论文,链接:
显示更多