今天有个多模态转架构的男孩发信息跟我说这是他成年以来最好的夏天。
这一年他把多模态的刷榜任务全推了，转头扎进了预训练架构洗数据洗到吐的日子结束了，他每天琢磨的是 block 怎么堆、权重怎么复用。上周 Astra 的消息漏了出来，OpenAI 藏了一年的新模型用的是 loop transformer，推理不靠显式 CoT，靠把同一组权重循环几十轮，在 latent space 里把事情想完同样的 FLOPs，把参数比它大一倍的模型按在地上摩擦。
半年前字节那篇被全组翻出来逐字逐句研读。当年劝他别去的人，现在在问架构组还招不招人。
昨天在中关村创业大街散步，所有人突然停下手边的事，互相拥抱，喝彩欢呼。他说很开心，有种research 黄金时代的错觉。
もっと見る
