flyingpetals
@flyingpetal472
A frustrated researcher in AI for efficient scaling and pretraining. We are bound to go to an unpredictable future. Opinions are my owns.
248 正在關注 757 粉絲
没去过业界，现在一直好奇像kimi智谱这样大模型厂商在正式预训练的模型大规模训练的时候，可以有空出来的节点去做天马行空的取自研究论文的技术前瞻验证和消融实验吗？毕竟模型厂商的GPU也有限。K3 技术报告里kda里很多组件像上下采样投影门控都做过许多消融尝试，glm5之前也尝试过线性注意力的门路🤔
顯示更多
