註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

思维怪怪
@0xLogicrw
写关于 AI 的一切 Shit Post AI 信息流:
加入 May 2018
3K 正在關注    8.6K 粉絲
在大模型自蒸馏训练中,同一个模型会扮演两种角色:学生独立解题,老师则能提前看到参考答案,沿着学生写出的内容逐 Token 提供指导。 两种角色共享参数,不需要额外运行一个更大的教师模型,还能获得比最终判分更细致的训练信号。但老师掌握的额外信息,也可能让它采用学生无法独立完成的推理路径,反而影响学习。 今年 6 月,UCLA 等团队提出 SDPG,保留最终结果奖励,只让表现高于同组平均水平的解题过程接受蒸馏指导,训练后期再逐步降低蒸馏权重,避免过度模仿妨碍模型自行探索。如果一组尝试全部失败,蒸馏信号就会关闭;全部答对时也是如此。 Perplexity 与 NVIDIA 新提出的 JOLT,把老师也纳入训练。老师利用额外信息独立解题,根据最终结果获得奖励;同时用 KL 散度约束老师与学生的输出差异,避免指导偏离学生当前的能力太远。学生仍沿着自己的解题过程,逐 Token 接受教师反馈。两种角色共享参数,解题能力和教学方式会在训练中一起调整。 在 Qwen3-0.6B 的 MATH 测试中,JOLT 准确率达到 72.14%,高于此前自蒸馏方法 OPSD 的 61.20%,也超过强化学习 GRPO 的 68.36%。这组 JOLT 实验没有给学生单独加入最终结果奖励,只有教师分支直接使用结果奖励。 达到相同的 63.44% 准确率时,GRPO 实测消耗约 840 万个训练 Token,JOLT 根据训练曲线估算只需 130 万,相差约 6.5 倍。 但换到 AppWorld 智能体任务,不使用学生结果奖励的 JOLT 只有 51.92%,低于 GRPO 的 62.20%。给学生也加入最终任务奖励后,JOLT+ 才提高到 72.09%。教师提供的逐步指导,仍不能完全取代学生实际完成任务的反馈。
顯示更多
New research: We developed JOLT, a post-training method where one model acts as both teacher and student, with the teacher trained to give feedback the student can use. On MATH, it matched GRPO's accuracy with 6.5x fewer training tokens.
顯示更多