Xiuyu Li
@sheriyuo
Researcher @StepFun_ai | Working on long-horizon tasks | Prev @RUC1937 | Opinions are my own
加入 February 2026
1.9K 正在關注 14.6K 粉絲
学术界有用的 idea 没那么多，只不过 pretrain 确实要做很多 ablation
工业界一直在 follow 学术界的新 idea，但是只有那些经过验证的 consensus 才能承担得起 scale up，只有那些 bottleneck 才值得一个 team “天马行空”地去 research
顯示更多
没去过业界，现在一直好奇像kimi智谱这样大模型厂商在正式预训练的模型大规模训练的时候，可以有空出来的节点去做天马行空的取自研究论文的技术前瞻验证和消融实验吗？毕竟模型厂商的GPU也有限。K3 技术报告里kda里很多组件像上下采样投影门控都做过许多消融尝试，glm5之前也尝试过线性注意力的门路🤔
顯示更多
