TwiScan
Hot
Communities
Account collections
Login
Register
English
日本語
한국의
简体中文
繁体中文
Register and share your invite link to earn from video plays and referrals.
Register now
思维怪怪
@0xLogicrw
写关于 AI 的一切 Shit Post AI 信息流:
Joined May 2018
3K
Following
8.6K
Followers
思维怪怪
@0xLogicrw
2026.10.22 15:01
在大模型自蒸馏训练中,同一个模型会扮演两种角色:学生独立解题,老师则能提前看到参考答案,沿着学生写出的内容逐 Token 提供指导。 两种角色共享参数,不需要额外运行一个更大的教师模型,还能获得比最终判分更细致的训练信号。但老师掌握的额外信息,也可能让它采用学生无法独立完成的推理路径,反而影响学习。 今年 6 月,UCLA 等团队提出 SDPG,保留最终结果奖励,只让表现高于同组平均水平的解题过程接受蒸馏指导,训练后期再逐步降低蒸馏权重,避免过度模仿妨碍模型自行探索。如果一组尝试全部失败,蒸馏信号就会关闭;全部答对时也是如此。 Perplexity 与 NVIDIA 新提出的 JOLT,把老师也纳入训练。老师利用额外信息独立解题,根据最终结果获得奖励;同时用 KL 散度约束老师与学生的输出差异,避免指导偏离学生当前的能力太远。学生仍沿着自己的解题过程,逐 Token 接受教师反馈。两种角色共享参数,解题能力和教学方式会在训练中一起调整。 在 Qwen3-0.6B 的 MATH 测试中,JOLT 准确率达到 72.14%,高于此前自蒸馏方法 OPSD 的 61.20%,也超过强化学习 GRPO 的 68.36%。这组 JOLT 实验没有给学生单独加入最终结果奖励,只有教师分支直接使用结果奖励。 达到相同的 63.44% 准确率时,GRPO 实测消耗约 840 万个训练 Token,JOLT 根据训练曲线估算只需 130 万,相差约 6.5 倍。 但换到 AppWorld 智能体任务,不使用学生结果奖励的 JOLT 只有 51.92%,低于 GRPO 的 62.20%。给学生也加入最终任务奖励后,JOLT+ 才提高到 72.09%。教师提供的逐步指导,仍不能完全取代学生实际完成任务的反馈。
Show more
Perplexity
@perplexity_ai
2026.10.21 18:44
New research: We developed JOLT, a post-training method where one model acts as both teacher and student, with the teacher trained to give feedback the student can use. On MATH, it matched GRPO's accuracy with 6.5x fewer training tokens.
Show more
0
0
0
4
0
Forward to community
Most Popular Users
Tibo
@thsottiaux
1M Followers
FinancialJuice
@financialjuice
958.4K Followers
Serenity
@aleabitoreddit
1.1M Followers
First Squawk
@FirstSquawk
579.3K Followers
LiveSquawk
@LiveSquawk
504K Followers
Binance Wallet
@BinanceWallet
2.8M Followers
CNBC
@CNBC
6.3M Followers
Seeking Alpha
@SeekingAlpha
347.9K Followers
New York Post
@nypost
4.3M Followers
The Wall Street Journal
@WSJ
22.3M Followers
TheStreet
@TheStreet
1.2M Followers
ClaudeDevs
@ClaudeDevs
825.4K Followers
Binance
@binance
16.1M Followers
amit
@amitisinvesting
672.2K Followers
Reuters
@Reuters
26.5M Followers