这么普遍的现象和课题，竟然一上来就 “在多模态大模型中”…… 这现象和多模态有直接关系么？为啥要把这么好一个研究方向困在“多模态”下面？
眩晕瘫坐，仿佛原子弹爆炸
No MTP, No PD disaggregation, Pure TP, still beats NVIDIA's Vera Rubin NVL72 on a third-party model, with A0 stepping. And B0 is 25% better.
NVIDIA GPUs become HBM wrappers.
同理于程序语言
庸俗还原论只会毒害人的思维
愈发感觉，行业里面反反复复的 “还得是预训练呀”，“看得还是 infra 呀”，“还是 gpu 重要呀”，“重要的是资本”，都是一种朴素的还原论，和 “生物就是物理呀”，“还是数学更本质”，“还是要看哲学”，的这种观点是类似的。对于复杂系统，每一个层级肯定都会有他难以替代的特性和价值，赛博斗蛐蛐不可取...
显示更多
