今天有个多模态转架构的男孩发信息跟我说这是他成年以来最好的夏天。
这一年他把多模态的刷榜任务全推了，转头扎进了预训练架构洗数据洗到吐的日子结束了，他每天琢磨的是 block 怎么堆、权重怎么复用。上周 Astra 的消息漏了出来，OpenAI 藏了一年的新模型用的是 loop transformer，推理不靠显式 CoT，靠把同一组权重循环几十轮，在 latent space 里把事情想完同样的 FLOPs，把参数比它大一倍的模型按在地上摩擦。
半年前字节那篇被全组翻出来逐字逐句研读。当年劝他别去的人，现在在问架构组还招不招人。
昨天在中关村创业大街散步，所有人突然停下手边的事，互相拥抱，喝彩欢呼。他说很开心，有种research 黄金时代的错觉。
顯示更多
训练模型，要和光同尘，心中装的是九州万方
训大模型，要三思，思进，思危，思退！
我有一计，改训为蒸，上利公司，下利你们，我就不明白，这天大的好事，怎么就推行不下去？
搅吧，搅吧，你们就搅吧！搅得基模组前方蒸馏没了 API，没了数据；搅得 loss 曲线大乱，把 AGI 丢了，老子无非陪你们一起喝西北风就是。
顯示更多
这年头读 PhD 真是有福了。
AI 审稿导致学术圈崩溃到了触目惊心的地步：亲眼见证所有的会议从 23 年中到现在，第一轮的 review 分数全部雪崩。我只记得 23 年的时候，ICLR 第一轮投稿可能中位数还有 5 分，现在直接 3 分都是高分？? 😅
顯示更多
这张照片拍摄于 2023 年 6 月 2 日，大概在这张照片拍摄两个月后，杨植麟老师创立了月之暗面。
世界被永远改变。
