註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

駿HaYaO
@QQ_Timmy
居住在網路的麻雀
加入 December 2016
191 正在關注    32.2K 粉絲
Tom's Hardware〈AMD shares how it can retain 95% of server performance with just half the DRAM, sidestepping memory shortages with MEXT〉|2026年11月11日 1、MEXT 是什麼 1)AMD( $AMD)在6月接手的預測式記憶體引擎。它把不常用的冷記憶體分頁搬到快閃記憶體,再用 AI 模型在需要之前把分頁搬回 DRAM。 2)依應用和效能目標不同,伺服器需要的實體 DRAM 可以少20%到75%,作業系統看到的仍是完整容量。 2、運作方式 1)主力是以 Transformer 為基礎的模型,像大型語言模型預測下一個字詞一樣,改成預測下一個會用到的記憶體分頁。只要預測能領先 SSD 的傳輸延遲,效能就像 DRAM 一直都在。 2)以 Linux 核心模組部署,適用任何 Linux 發行版。模型沒有預先訓練,首次部署不到一秒就訓練完成,只用一顆 EPYC 核心、不需要 GPU,之後會隨工作負載持續學習。 3)搬回分頁不需要照順序,只要用到時已經在 DRAM 裡就好。 4)搭配的 RAM View 工具會顯示分頁冷熱。AMD 舉例,一台1.5TB的系統看似全滿,但任何時間點都有約一半的分頁超過五分鐘沒被碰過。 3、AMD 公布的內部測試 1)Synopsys PrimeTime:DRAM 減半時保有95%效能,剩25%時保有80%。 2)Spark SQL(TPC-DS)在 Azure 上用第五代 EPYC 組成三節點叢集:DRAM 減半時保有99%效能。 3)代理式 AI:五個代理同時執行,DRAM 減半時保有99%效能,剩25%時保有85%;記憶體需求大的代理則分別保有90%和88%。 4)AMD 認為多數工作負載可以減少20%到25%的容量;減得越多,適用的應用越特定,效能落差也越大。 4、部署進度 1)AMD 內部已在145台伺服器上部署,明年擴大到2,000台。另外也和 HPE( $HPE)合作推廣。 2)目前是第一階段,部分 EPYC Venice 伺服器會貼「MEXT Ready」標章,並配置專用的 NVMe 硬碟或槽位。第二階段會開放 MEXT 授權並搭配 RAM View,時間未定。 3)MEXT 目前只支援 EPYC,未來可能延伸到 Strix Halo 這類消費性產品,但時間還很遠。 [Tom's Hardware]
顯示更多