注册并分享邀请链接,可获得视频播放与邀请奖励。

Leonard
@Leoskie_L
AI Semi & Supply Chain | Warsaw × Taiwan Physical layer | US demand ↔ TW supply 100% incremental GM from depreciation expiry Not advice • Just physics.
加入 September 2011
2K 正在关注    11.3K 粉丝
Gavin Baker 今天談的 pacing,不是把前沿踩慢、也不是少買機。他的意思是:OpenAI、Anthropic 若選擇「跟上安全」,會把更多時間和運算花在 alignment、監控和 evals 上。 Sarah Friar 昨天在 CNBC 說,從她現在的位置看,成長機會仍然很多,所以她還是把重心放在取得更多運算,讓這套正向循環繼續轉。Sachin Katti 講得更直接:要讓前沿模型安全、行為一致,方法就是投入運算。反直覺的地方在於,未來模型要更安全、更穩,需要的運算是更多,不是更少。 這跟市場常有的算法不一樣。市場聽到 pace the frontier、pause RL,容易先理解成需求下修。實驗室內部多出來的,是安全稅。 OpenAI 8 月自己寫過一筆可以核對的數字:被納管的 inference,監控 overhead 大約是 20%。Astra 達到 Critical 網路能力之後,帶 tool 的推論整條都要監,不是只抽查最高風險的幾條。他們還養了 GPT-Red 這種自動化紅隊,訓練規模對得上最大的 post-training。產品往上走一檔,攻擊模型也要往上走,藍隊才測得到真洞。測完還要對抗訓練、拒絕邊界、思維鏈監控。這三筆都是 token,不是新聞稿。 正向循環可以寫成一條鏈:模型變強,攻擊面變大,護欄必須更強;護欄更強,本身就要燒掉更多 token;實驗室再去簽下一截容量,把這筆安全稅補回來。Flywheel 沒停,只是同一 GW 裡,先被藍隊切走一截。 Baker 把這件事拿來跟「開源權重搶市佔」比,結論是:對基礎設施幾乎一樣偏多,但還不算同一件事。差在錢從哪裡走。 開源權重若拿走閉源高毛利的市佔,模型層的 margin 會被壓下來,便宜 token 變多,同樣程度的智慧要消耗更多電、更多晶圓。那是量被放大,margin 從模型公司挪到基礎設施。 若之後每一代都維持「能力跨過 Critical、帶 tool 的推論全數納管」,那 20% 有機會從專案成本變成常態稅。到那時候,比的不是誰比較會講安全,而是誰在抽完這筆稅之後,還有餘量去訓練下一檔模型。 藍隊不能比產品弱一階。弱一階,測出來的安全數字是假的。要跟得上,token 要先加在護欄上。
显示更多
More on AI pacing: Sarah Friar CFO of OpenAI yesterday on CNBC: “from where I sit today there is so much opportunity to drive growth that I am still highly focused on getting more compute to keep that flywheel going.” Sachin Katti VP of Compute Strategy at OpenAI @sk7037 yesterday: “The way we will make sure frontier models are safe and aligned is by spending compute. So the counterintuitive point is that we’ll need even more compute to make sure future models are more safe and aligned.” If you thought “pacing” was negative for AI infrastructure demand, think again. Almost as bullish as open-weight AI taking share but not quite.
显示更多