Lilian Weng 这两天更了一篇新 blog，《Scaling Laws, Carefully》。话说想当一个优秀的 researcher，真得会起标题啊😆这个 Carefully 就很妙，一看就不是来吹 scaling law 的，而是来给它祛魅的。 过去几年，AI 圈对 scaling law 的理解，多少有点简单粗暴：模型越大，数据越多，算力越多，能力就会沿着一条漂亮曲线往上走。于是大家很容易把它理解成一句话： 继续堆，就会继续赢。 （虽然这句话好像也没错） 但 Lilian 这篇其实在提醒大家，scaling law 没那么神。它不是宇宙真理，更像一套很贵的实验会计学。 她举了两个例子。 Kaplan 2020 把 scaling law 带进 LLM 时代。当时的结论是：“有钱先堆参数，数据少喂点”。这话行业信了两年。 结果 2022 年 Chinchilla 直接掀翻，同样的算力，70B 的模型多喂 4 倍数据，把 280B 的 Gopher 全面碾压。结论反过来了：参数和数据该差不多一比一同步涨。（就像我们前两天写的，技术圈的潮流真是一个回旋镖）。 同一套规律，两个顶尖团队，给出几乎相反的答案。其实两边都同意 scaling 有效，真正吵的只是同一笔算力该怎么分。那为什么会差这么多？后来 Pearce & Song（2024）把账算清了：Kaplan 主要在小模型上做实验，Chinchilla 玩的规模大十倍以上，加上两家连“模型有多大”都没按同一个口径数（算不算那块管词表的参数）。就这点采样范围和口径上的差别，往大尺度一外推，被放大成了相反的结论。 更骚的在后面。Besiroglu（2024）去复现 Chinchilla，发现它自己三套方法里，第三套居然跟前两套对不齐，挖出来的原因离谱到好笑：无非是算账时该求和的地方取了平均、关键数字只保留了两位小数这种手滑。就这，能让一条决定全行业往哪烧钱的曲线，看起来偏掉。 所以 Lilian 这篇的潜台词是：scaling law不是写死的物理定律，是一条得小心伺候的经验账。你在几个便宜小模型上画条线，拿去赌几十亿的训练，中间任何一个看着无所谓的小数点，推到那个尺度都可能差出一座数据中心。 P.S. Lilian 还在文末放了个可以自己拖的小组件，比任何解释都直观，建议去原文拖两下。 Scaling law 没有失效，但它也不应该被当成信仰。它更像一把尺子，而且是一把很挑剔的尺子。 但如果你量错了东西，最后只会得到一个很贵的错误（这也是为什么搞AI大模型的算法值钱，之前的经验，可以少浪费多少算力）

斯坦福大学的创办人，Leland 和 Jane Stanford 夫妇，他们的独子 Leland Jr. 在 1884 年因伤寒去世。夫妇二人决定用巨额财富创办一所大学来纪念他。 他们曾向包括哈佛校长 Charles Eliot 在内的东部教育界人士寻求建议。最终，他们把加州 Palo Alto 的 8,180 英亩土地和大量财富捐出，建立 Leland Stanford Junior University，学校于 1891 年正式开学。 Leland Stanford 是当时的铁路巨头，在创建斯坦福大学之前二十年(1862年)已经担任加州州长，后来又被选为美国参议员。很难想象这样一对美国镀金时代的顶级富豪会是穿破旧衣服的乡下夫妇。

The figure drawing reference comes from the work of photographer @lexiansheng_ 这幅素描的灵感来源于樂先生的作品。非常感谢您的慷慨分享，您的作品一直给予我许多创作灵感与启发。这位模特很好看😲 📬 @youluo09 @Fulishequ @fuligc （感谢🫶） #素描# #sketch#

下班被大叔拖进巷子房间，强行夺走我的第一次。他粗暴地干我，而其他姐妹被几个男人轮流上…… 只有我被这大叔疯狂抽插着我的第一次，这简直是地狱~~ 完整版→ #哔咔漫画# #里番# #里番天堂# #H漫# #二次元#