Lilian Weng 这两天更了一篇新 blog，《Scaling Laws, Carefully》。话说想当一个优秀的 researcher，真得会起标题啊😆这个 Carefully 就很妙，一看就不是来吹 scaling law 的，而是来给它祛魅的。 过去几年，AI 圈对 scaling law 的理解，多少有点简单粗暴：模型越大，数据越多，算力越多，能力就会沿着一条漂亮曲线往上走。于是大家很容易把它理解成一句话： 继续堆，就会继续赢。 （虽然这句话好像也没错） 但 Lilian 这篇其实在提醒大家，scaling law 没那么神。它不是宇宙真理，更像一套很贵的实验会计学。 她举了两个例子。 Kaplan 2020 把 scaling law 带进 LLM 时代。当时的结论是：“有钱先堆参数，数据少喂点”。这话行业信了两年。 结果 2022 年 Chinchilla 直接掀翻，同样的算力，70B 的模型多喂 4 倍数据，把 280B 的 Gopher 全面碾压。结论反过来了：参数和数据该差不多一比一同步涨。（就像我们前两天写的，技术圈的潮流真是一个回旋镖）。 同一套规律，两个顶尖团队，给出几乎相反的答案。其实两边都同意 scaling 有效，真正吵的只是同一笔算力该怎么分。那为什么会差这么多？后来 Pearce & Song（2024）把账算清了：Kaplan 主要在小模型上做实验，Chinchilla 玩的规模大十倍以上，加上两家连“模型有多大”都没按同一个口径数（算不算那块管词表的参数）。就这点采样范围和口径上的差别，往大尺度一外推，被放大成了相反的结论。 更骚的在后面。Besiroglu（2024）去复现 Chinchilla，发现它自己三套方法里，第三套居然跟前两套对不齐，挖出来的原因离谱到好笑：无非是算账时该求和的地方取了平均、关键数字只保留了两位小数这种手滑。就这，能让一条决定全行业往哪烧钱的曲线，看起来偏掉。 所以 Lilian 这篇的潜台词是：scaling law不是写死的物理定律，是一条得小心伺候的经验账。你在几个便宜小模型上画条线，拿去赌几十亿的训练，中间任何一个看着无所谓的小数点，推到那个尺度都可能差出一座数据中心。 P.S. Lilian 还在文末放了个可以自己拖的小组件，比任何解释都直观，建议去原文拖两下。 Scaling law 没有失效，但它也不应该被当成信仰。它更像一把尺子，而且是一把很挑剔的尺子。 但如果你量错了东西，最后只会得到一个很贵的错误（这也是为什么搞AI大模型的算法值钱，之前的经验，可以少浪费多少算力）

Miko自学AI 系列----万物皆插件(DeepSeek Harness) 特意推荐一篇好文章，是字节跳动内部人士写的。 模型适配器是插件，工具注册表是插件，会话日志是插件，Agent Loop 本身也是插件…… DeepSeek Harness的指引可以归纳为六个字： 一切皆为插件 说实话，我还没完全消化透。因为开放了外部阅读权限，现分享出来跟大家一起学习学习。 飞书地址： 这篇内部文章，讨论了 DeepSeek 于 8 月 13 日开源的开发者预览版 DeepSeek Harness（简称 DSH），结合忒修斯之船思想实验、Lilian Weng 相关博客及配套论文，解析其设计逻辑、技术底座与面向 AI 递归自进化（RSI）的长期定位。 关键要点包括： DSH 核心定位： 它并非成熟消费级 Agent 产品，而是面向长期 RSI 的 Agent 运行时底座，核心要解决「Agent 运行中动态替换自身组件不中断任务」的问题，当前产品体验仍较早期。 核心设计原则： 采用「一切皆为插件」架构，底层基于 Cordis 运行时框架，实现时间可组合性（组件卸载可完整撤销副作用）、空间可组合性（组件依赖变化自动重连）与合流性（不受历史修改包袱干扰）。 核心设计特性： 采用只追加的事件日志机制保障全链路可回溯，提供标准、PTC、极简、创造 4 种预制运行模式，且 Prompt Caching 命中率高，运行响应速度优于多数同类 Agent Harness。 长期价值： 为 AI 非参数化自我改进提供了稳定的运行时基础，补上了 RSI 落地的关键环节，但目前尚未覆盖修改效果评估、防 Reward Hacking 等问题，距离成为通用 Agent 标准底座仍有距离。

X上90%AI博主都在教你收藏，真正能看的就这10个。 1、@emollick：不讲训练模型，专讲普通人怎么把AI用进工作和学习。 2、@cnfinancewatch：华尔街观察大模型开发者，金融量化交易数据专家，中美比较及大类轮动数据权威，看模型怎么变成能上线订阅的产品。 3、@bearliu：Vibe Coding和生成式UI实战，适合看AI怎么改写产品开发。 4、@xiaohu：每天扫新模型、新工具和热点变化，信息来得快。 5、@Gorden_Sun：AI资讯日报，适合追新模型、新产品和热点变化。 6、@Jason23818126：整理AI工具、机会和超级个体玩法，信息源很实用。 7、@tuturetom：AI Agent开发和开源项目实战，上手路径清楚。 8、@HiTw93：低调高产的独立开发者，AI编程工具和开源实战多。 9、@lilianweng：前OpenAI研究员，论文和前沿方法拆得深。 10、@Smartpigai：大厂程序员视角，把AI实践直接接到搞钱路径上。 这10个值得先收进列表，学AI会轻松很多。

15个值得关注的AI账号： 1. @karpathy 他的推文创造的LLM叙事，你两个月后会在LinkedIn上看到。 2. @fchollet 发布关于智能、基准和AI局限的深思熟虑研究。Keras创始人+ARC-AGI。 3. @ylecun 深度学习先驱、Meta首席AI科学家；大局观研究和评论（还有drama）。 4. @AndrewYNg AI教育传奇；实用ML建议、课程和真实应用。 5. @rasbt 发布实用ML/LLM实现、'从零开始构建'教程和书籍。 6. @dair_ai 每周ML/AI论文线程和易懂的研究解读（高质量信息流）。 7. @lilianweng 前OpenAI员工，Lil'Log风格线程优质。深度LLM研究分解。 8. @jeremyphoward 发布有趣的AI/加密新闻观点，致力于民主化实用深度学习教育。 9. @simonw 实用LLM工具、观点、实验、提示词和工程分解。Django联合创始人。 10. @_akhaliq 精选最新arXiv论文、模型发布和开源AI项目。 11. @ID_AA_Carmack AGI/低级优化观点，让你重新思考问题。 12. @gwern 高质量长篇AI研究笔记和论文。 13. @goodside LLM评估、提示词研究和真实能力测试。 14. @drfeifei 计算机视觉先驱；以人为中心的AI和空间智能研究。 15. @demishassabis 跟踪他的工作9年了。Demis是我对抗谷歌用AI滥用权力的希望。DeepMind CEO。 告诉我遗漏了谁，保存以备未来参考

想建立高质量的AI信息流，从这15个账号开始！ 这 15 个账号基本覆盖了： 研究 工程 教育 开源 产品 AGI 思考 AI 真实能力评测 @karpathy 他的推文经常提前定义 LLM 叙事。很多你两个月后在 LinkedIn 上看到的 AI 话题，可能他早就讲过了。 @fchollet Keras 作者，ARC-AGI 提出者。经常分享关于智能、本质能力、Benchmark 和 AI 局限性的深度思考。 @ylecun 深度学习先驱，Meta 首席 AI 科学家。观点很宏观，也经常有对 AI 研究路线的批判和讨论。 @AndrewYNg AI 教育领域的传奇人物。内容非常实用，覆盖机器学习建议、课程、产品落地和真实世界应用。 @rasbt Sebastian Raschka，经常分享实用 ML / LLM 实现、“从零构建”教程，以及相关书籍内容。 @dair_ai 高频更新 ML / AI 论文线程，用通俗方式拆解前沿研究，适合快速跟进 AI 进展。 @lilianweng 前 OpenAI 成员。她的 Lil’Log 风格内容非常值得看，擅长深入拆解 LLM 研究和技术细节。 @jeremyphoward 经常分享 AI / Crypto 相关观点，也长期推动实用深度学习的普及和大众教育。 @simonw Django 联合创始人。聚焦实用 LLM 工具、实验、提示词、Agent 和工程实践拆解。 @_akhaliq 持续整理最新 arXiv 论文、模型发布、开源 AI 项目和研究动态，信息流非常快。 @ID_AA_Carmack 关注 AGI 和底层优化问题，很多观点能让你重新思考“智能”和“工程”的本质。 @gwern 高质量长文作者，擅长 AI 研究笔记、深度 essays 和长期主义视角的技术观察。 @goodside 专注 LLM 评测、提示词研究和真实能力测试，经常能看到非常细的模型行为观察。 @drfeifei 计算机视觉先驱，关注以人为中心的 AI、空间智能和未来 AI 研究方向。 @demishassabis Google DeepMind CEO。长期关注通用 AI 的未来方向，也是理解 DeepMind 路线的重要窗口。 大家还有要补的吗？评论区👇👇👇👇