Lilian Weng 这两天更了一篇新 blog，《Scaling Laws, Carefully》。话说想当一个优秀的 researcher，真得会起标题啊😆这个 Carefully 就很妙，一看就不是来吹 scaling law 的，而是来给它祛魅的。 过去几年，AI 圈对 scaling law 的理解，多少有点简单粗暴：模型越大，数据越多，算力越多，能力就会沿着一条漂亮曲线往上走。于是大家很容易把它理解成一句话： 继续堆，就会继续赢。 （虽然这句话好像也没错） 但 Lilian 这篇其实在提醒大家，scaling law 没那么神。它不是宇宙真理，更像一套很贵的实验会计学。 她举了两个例子。 Kaplan 2020 把 scaling law 带进 LLM 时代。当时的结论是：“有钱先堆参数，数据少喂点”。这话行业信了两年。 结果 2022 年 Chinchilla 直接掀翻，同样的算力，70B 的模型多喂 4 倍数据，把 280B 的 Gopher 全面碾压。结论反过来了：参数和数据该差不多一比一同步涨。（就像我们前两天写的，技术圈的潮流真是一个回旋镖）。 同一套规律，两个顶尖团队，给出几乎相反的答案。其实两边都同意 scaling 有效，真正吵的只是同一笔算力该怎么分。那为什么会差这么多？后来 Pearce & Song（2024）把账算清了：Kaplan 主要在小模型上做实验，Chinchilla 玩的规模大十倍以上，加上两家连“模型有多大”都没按同一个口径数（算不算那块管词表的参数）。就这点采样范围和口径上的差别，往大尺度一外推，被放大成了相反的结论。 更骚的在后面。Besiroglu（2024）去复现 Chinchilla，发现它自己三套方法里，第三套居然跟前两套对不齐，挖出来的原因离谱到好笑：无非是算账时该求和的地方取了平均、关键数字只保留了两位小数这种手滑。就这，能让一条决定全行业往哪烧钱的曲线，看起来偏掉。 所以 Lilian 这篇的潜台词是：scaling law不是写死的物理定律，是一条得小心伺候的经验账。你在几个便宜小模型上画条线，拿去赌几十亿的训练，中间任何一个看着无所谓的小数点，推到那个尺度都可能差出一座数据中心。 P.S. Lilian 还在文末放了个可以自己拖的小组件，比任何解释都直观，建议去原文拖两下。 Scaling law 没有失效，但它也不应该被当成信仰。它更像一把尺子，而且是一把很挑剔的尺子。 但如果你量错了东西，最后只会得到一个很贵的错误（这也是为什么搞AI大模型的算法值钱，之前的经验，可以少浪费多少算力）

✨《LILIWEISS》COS角色本，正式开始预售啦 ✨ 本子共计38P，还有精心设计的多套妮姬物料组合 ✨ 详情信息 🔸 普通版：内含莉莉维斯角色本1本 🔸 珍藏版(限30套)：内含莉莉维斯角色本 + 双面明信片（8张）+ 双面镭射票（2张）+ 色纸（2张） 现为【预售】期，预计45天内发货，感谢指挥官的耐心等待！

🔥莉莉絲Lilith｜預購開啟🔥 越來越期待FF45與大家的見面了！ 你們呢~？ 這次的創作花了好多的心力跟時間🥹 希望大家可以多多支持與鼓勵哇~ #FGO# #莉莉絲# #Lilith# #Cos#

🔥莉莉絲Lilith｜預購開啟🔥陸續更新實體內容🔥 「呀齁～哎呀，召喚之手竟然連人家也不放過啊。」 這次的創作，是我們滿滿的肝之力~🌟 服裝、道具、連假髮都是我們製作完成 為了出場內跟場外的關係.. 我還捏了三頂假髮！XD（手藝真的UP了！）🤣 拍攝一開始是戴反重力假髮 但悲劇發生了──我戴沒多久就中暑+暈眩+吐了QQ 後來只好改成比較輕盈的版本，但效果還是很不錯🥰 順帶一提──今天剛好是FGO十周年🎉 雖然莉莉絲不是十週年角色啦~XD 但我還是很開心能在這一天 發布這個我準備已久的創作 希望大家會喜歡這一次的新書~💞 這應該會是今年的主C重裝了！ FF三天也都會分別出靈二、三 其中一天場內會是制服版，場外會換成靈三✨ 第三天會在場外搭團跟大家一起同樂！ 歡迎來認認喲~🤗 #FGO# #莉莉絲# #Lilith# #FF# #Cos#