註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

Ryan Leung 梁興盛, CFA
@RYANHINGSHING
Buyside equity analyst. Tech/Fin. Investing in tech/semi supply chain. Not investment advice. DM open.
加入 March 2023
800 正在關注    16.4K 粉絲
我昨天指"Post-training是下一波算力浪潮"引起了范總和金老師的辯論。我就無意跟任何人辯論了,只是思考了一天,有空就想說下我都想法。 范兄說的話有道理。他指Post-trained開源推理模型小、Token成本小、收集優質data和eval進度慢,所以Post-trained模型帶來的算力和進度也不會很快(應該是和之前AI coding增長相比)。 確實如此,開源推理模型市場本身真的很小,收入只佔總體模型收入的幾%。所以即使開源有明顯增長,可能未來一年都不會為整體算力帶來明顯的增長。而且不能忽視優質data和eval等瓶頸。 我的看法是 1. 不只開源推理需求在上升,閉源推理需求也上升(增速變慢是確定的)。閉源推理需求很大程度上來自資深工程師、研究員、量化交易員、...等人的需求。對於這部分人來說,支付更多金錢從來不是問題,問題出在模型能力還不夠強,有不低的錯誤率和需要人工 review。模型還在進步當中,所以閉源推理需求上升是確定的。 2. Post-trained開源推理模型增速高於閉源推理增速,這是企業應用AI在workflow的關鍵。當workflow產生又同時帶動非傳統coding更複雜的AI需求(例如code review、security、testing、product design、 ...) 3. 很多人非常看重ROI,但很多公司都不是看ROI,而是看有沒有被新玩家顛覆的風險, token spending作用風險管理策略。 所以未來需求還是會大幅增長,問題從來是需求增速下降會不會導致供大於需。以我找到CSP的渠道,他們有信心2-3年算力繼續供不應求。即使需求增速變慢,供應依然是瓶頸。 對我來說唯一問題是雲能不能維持 >$ 50B/GW以上的暴利收入。我看法是GW收入不一定維持,但是整體半導體和算力依然供不應求。 范兄認為算力和半導體是週期性(下跌)的,長期看好AI,我表示尊重。我認為或許只有部分半導體公司的需求會面臨週期性下跌,會繼續缺貨的還是會繼續缺貨。
顯示更多