阑夕(@foxshuo ):Sam Altman终于还是被推出来回应大模型预训练陷入瓶颈的行业恐慌了。清理了一下时间线，大致上是这样的： - The Information率先报道，OpenAI因为GPT系列模型的进化速度放缓，调整了公司战略，GPT-5难产已成定局； - Bloomberg随后助攻，把采写范围扩大到了OpenAI、Googe和Anthropic三家公司，发现新版模型全在推迟发布，可以看到收益递减曲线； - AI社区此时普遍还认为媒体报道有失公允，觉得没有核心从业者出来证言，只是搜集了边角料想搞个大新闻而已，大家不要慌，「且听龙吟」； - 然后从OpenAI出局的前首席科学家Ilya Sutskever刚好跳出来补刀，对路透社判断大模型扩展法则确实已经到达了极限，必须改变训练模式； - Meta的首席科学家、图灵奖得主Ynn LeCun也没放过攻击闭源竞争对手的机会，在Threads上表示「我不想说我早就告诉过你，但我确实早就告诉过你」； - Anthropic的创始人Dario Amodei在播客里安抚市场，认为预训练的扩展法则（Scaling Laws）来自经验而非客观规律，但自己会押它仍然会继续存在；

2024.11.14 08:17

Sam Altman终于还是被推出来回应大模型预训练陷入瓶颈的行业恐慌了。清理了一下时间线，大致上是这样的： - The Information率先报道，OpenAI因为GPT系列模型的进化速度放缓，调整了公司战略，GPT-5难产已成定局； - Bloomberg随后助攻，把采写范围扩大到了OpenAI、Googe和Anthropic三家公司，发现新版模型全在推迟发布，可以看到收益递减曲线； - AI社区此时普遍还认为媒体报道有失公允，觉得没有核心从业者出来证言，只是搜集了边角料想搞个大新闻而已，大家不要慌，「且听龙吟」； - 然后从OpenAI出局的前首席科学家Ilya Sutskever刚好跳出来补刀，对路透社判断大模型扩展法则确实已经到达了极限，必须改变训练模式； - Meta的首席科学家、图灵奖得主Ynn LeCun也没放过攻击闭源竞争对手的机会，在Threads上表示「我不想说我早就告诉过你，但我确实早就告诉过你」； - Anthropic的创始人Dario Amodei在播客里安抚市场，认为预训练的扩展法则（Scaling Laws）来自经验而非客观规律，但自己会押它仍然会继续存在； - 再就是两个小时前，Sam Altman现身喊话，说物理学不存，不对，是墙不存在。

Sam Altman@sama

2024.11.14 06:06

there is no wall

405