登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

郭明錤|Ming-Chi Kuo
@mingchikuo
香港天風國際證券分析師,分享科技產業趨勢觀察|TF International Securities (HK) analyst sharing tech trend insights
参加 March 2011
399 フォロー中    250.3K ファン
正當市場認為 Rubin CPX 已被 Nvidia 從產品藍圖中移除之際,我最新的產業調查顯示,Nvidia 已重啟 Rubin CPX,預計於 1Q27 開始生產。相較舊版,重啟後的 Rubin CPX 擁有更強的預填充(prefill)效能,GPU 規格與機櫃架構也都有明顯改變,足以證明 Nvidia 對 prefill 方案的高度重視。 關鍵改變如下: 1. Rubin CPX GPU 規格 CPX 算力接近 Rubin,單顆 GPU 最高功耗也同為 2,300 W。CPX 記憶體改為 168 GB HBM4,低於 Rubin 的 288 GB HBM4,但高於舊版 CPX 的 128 GB GDDR7。 2. 機櫃設計 新版 CPX 採用獨立的 MGX ETL 機櫃,不再像舊版與 Rubin 共櫃。客戶可依需求配置 64、128、192 或 256 顆 CPX。在 CPX 機櫃中,每 64 顆 CPX 組成一個機櫃模組,每個機櫃模組配置 8 個運算托盤(每個托盤有 8 顆 CPX)與 1 個交換機托盤。 3. Scale-up 與 scale-out NVLink 僅用於同一托盤內 8 顆 CPX GPU 的 scale-up,每顆 CPX 的 NVLink 頻寬為 1–1.5 TB/s(vs. 每顆 Rubin 的 3.6 TB/s)。同一機櫃模組內的托盤間,透過 Spectrum-6 Ethernet(全銅 L1)進行 scale-out;跨機櫃模組時,則由各模組的 Spectrum-6 透過 OSFP 光纖進行 scale-out。 4. 運作方式 CPX 需與 Vera Rubin NVL72 搭配,Nvidia 建議 CPX 與 Rubin 的比例為 1:1。CPX 負責預填充(prefill)並建立 KV cache,再透過 Ethernet RDMA 傳給 Rubin 執行解碼生成(decode)。 5. 產品定位:長上下文 prefill 的最高性價比方案 目前 AI 推論工作量中,超過一半來自處理輸入內容(context)並建立相對應的 KV cache,因此,CPX 以更彈性的部署方式與更低成本承接 prefill。每個運算托盤(有 8 個 CPX)約有 1.34 TB HBM4,足以支援大多數長上下文 prefill 與 KV cache 建立需求。
もっと見る