2026/09/16 AI 產業趨勢
產業結構變化
1. Agentic AI 推升 CPU
傳統訓練/推論以 GPU 為主。Agentic AI(任務啟動 → 排程 → 找工具 → RAG → 分析)高度依賴 Web Gateway、通用伺服器、always-on storage。功耗比從「4GW GPU 對 1GW CPU」朝 1:1 發展,CPU 用量與耗電可能接近 GPU。
2. CPO/NPO 與光通訊
- 架構:Scale-up(rack 內)/Scale-out(跨 rack)/Scale-across(跨 DC);開始討論 Scale-in(die-to-die 光互連)。
- CPO=光引擎在載板;NPO=光引擎在主機板+socket;OIO=中介層上的 optical I/O。兩者 OE 相同(台積電 COUPE 整合 PIC+EIC),差異只在載體與連接器。NPO 不消滅 CPO 供應鏈。
- Nvidia Rubin Ultra:NVL72 vs NVL576。NVL576 用 8 個 rack、無獨立 switch rack,每 rack 72 GPU+72 switch;每 GPU 額外負擔約 12.8T 光頻寬。相對 Blackwell 單 GPU 對應 1 顆 800G,整體光模組頻寬需求大幅提升(簡報稱可到約 8 倍量級)。
- 對 PCB:訊號在晶片端就轉光後,主機板只需低速控制訊號,CCL 等級可從 M8/M9 降至 M4;448G SerDes 時銅線可能連 5–10 公分都跑不了,必須全面改走光。傳統「升 CCL 規格推 ASP」邏輯將被結構性改變。
3. 先進封裝與 ASIC
- 晶片開發成本:28nm 約 1 億美元 → 1nm 破 10 億 → IC 設計不再是輕資產,只有大廠玩得起。
- Reticle size:5.5x CoWoS 成熟;9x 遇嚴重 warpage。Google Humufish/A5922(MTK 設計)是明年少數衝 9x 的,用 EMIB。Nvidia Rubin Ultra 維持 5.5x,改兩顆 GPU die 用 SoIC 堆疊。
- Google 網路拓樸 3D Torus → 6D Torus,每節點連接數 6→12,optical I/O 對外頻寬上看 3.2T。
- 2028:Hum fish(8Hi HBM)與 Trigger fish(12Hi),MTK、EMIB-T、2nm c-die+3nm I/O die。
- 2029:Merope(性價比、AMD+BRCM、SoIC+CoWoS)與 Icefish(可能 MTK+GUC、SoIC+EMIB-T)——製程與贏家目前都還很不確定。
4. 玻璃基板
TSMC/Ibiden/Innolux 合作中。5.5x SoIC warpage 嚴重,玻璃基板是解方之一(NV、BRCM 都積極)。需做 TGV、填金屬、上下堆疊 ABF。供應鏈已開始分流(南亞、SEMCO、Toppan、欣興、群創、DNP 等)。
顯示更多
Marvell Bravera SC6
Marvell $MRVL 於 2026 年 8 月 4 日 FMS 2026 發表 AI 記憶體基礎架構新品,核心為 Bravera SC6(MV-SF1410)PCIe Gen6 SSD 控制器。
核心亮點:
- 專為 AI 推論優化,讓更多 KV Cache 從昂貴 HBM 轉移至 SSD,提升基礎架構效率、降低寫入放大並延長 NAND 壽命。
- 效能為上一代 Bravera SC5(PCIe Gen5)的 2 倍。
支援 PCIe Gen6(向下相容 Gen1–5)、NVMe 2.2,單埠四通道。
- 採用 NAND-agnostic 架構,相容多家廠商 SLC/MLC/TLC/QLC,方便超大規模雲端與 OEM 彈性採購部署。
- 預計 2026 年第四季開始送樣。
同時發表 Structera X(機架級 CXL 記憶體擴充與池化)與 Photonic Fabric(Pod 級光學共享記憶體,跨機架最高 50 公尺、支援最高 32TB 暖 KV Cache 卸載,聲稱可提升 2–3 倍 token 吞吐量)。
整體目標是讓記憶體更獨立於運算擴展,減少 GPU 停滯、提高利用率與 token 效率,協助超大規模業者因應大型模型與長上下文需求。
顯示更多
1/ 🧠 為什麼未來的 personal AI computer(像 NVIDIA DGX Spark)真的能跟 data center 一較高下?
不是因為桌面變強到取代雲端,而是因為 AI 的「需求結構」正在分裂 ——
訓練留在雲端,推論回到本地。
2/ 關鍵突破一:FP4 改寫遊戲規則
70B 參數的模型,用 FP16 要 140GB 記憶體;
換成 FP4 → 只要 35GB。
一台配 128GB unified memory 的桌面機,就能跑得動以前要 8 張 H100 才能裝下的模型。
精度損失?用 QAT(量化感知訓練)幾乎可以忽略。
3/ 關鍵突破二:Memory Wall 正在被打破
LPDDR5X 頻寬不夠?
•Apple M4 Ultra 用超寬位元寬度做到 ~800 GB/s
•LPDDR6(2027)頻寬再翻倍
•NVIDIA DGX Spark 用 GB10 + 連貫記憶體架構
桌面端不再是「閹割版 GPU」,而是「為推論優化的新物種」。
4/ 關鍵突破三:你根本不需要 data center
Data center 解決的是:
✅ 訓練 frontier model(兆級參數)
✅ 服務全球數十億用戶並發
個人需要的是:
✅ 一個跑得動 70B–200B 模型的本地大腦
✅ 隱私、低延遲、不用月費
這兩件事根本是不同問題。
5/ 投資啟示 💡
•HBM 仍是訓練端王者(SK Hynix、Micron)
•但邊緣推論晶片 + 高頻寬 LPDDR/統一記憶體會是下一個十年的新戰場
•NVIDIA DGX Spark、Apple Silicon、AMD Strix Halo、高通 X Elite —— 都在卡位
未來不是雲端 vs 桌面,是雲端做訓練,桌面做你的 AI。
顯示更多
Goldman Sachs 在 7 月 6 日發布調升 Nittobo 評等到買進的報告,其中一個核心理由是保守看待台積電的玻璃核心載板(glass core substrate;GCS)發展。我先不多做評論,這邊單純分享訊息。
不過,我的結論是,從該報告其他的調升評等理由看,其實跟未來數年內正向看待 GCS 是不衝突的。
要注意的是,從過去歷史經驗看,台積電在接下來的 7 月法說,對 GCS / CoPoS 提供重大更新的機會可能不高,特別是才剛在 6 月份的日本研討會中,提供過關鍵研發成果且罕見提到合作供應商。如果我上述推論是對的,那更後面 8 月的群創與 Ibiden 法說,提供 GCS 重大更新訊息的機會也會連帶偏低。
顯示更多
TrendForce: 預估2027年Server CPU出貨年增破40%,Arm-Based產品市占持續擴大
根據TrendForce最新AI server產業研究,隨著各AI服務業者積極推出AI Agent相關應用,server CPU需求自2025下半年起穩步成長。預估2026年出貨年增幅將達31%;2027年因AI推論需求持續成長、Agentic AI服務滲透率提升,出貨量有望再年增逾40%。這將改變長期由x86主導的市場格局。
AI Agent服務興起使雲端資料中心server AI推論工作負載占比增加,逐漸改變server內部CPU與GPU/ASIC配比。業者規劃的機櫃方案與成長態勢,將從過往的1:8向1:2、甚至1:1方向發展,進一步增添server CPU出貨動能。
競爭格局方面,2025年以Intel、AMD為主的x86陣營主宰近90%市場,Arm-based產品市占率才剛突破10%。2026年雙方皆積極出貨爭取AI推論商機,但Intel新品因製程與封裝挑戰遞延,僅靠既有Emerald Rapids、Granite Rapids支撐,又受限自家製程產能吃緊,出貨成長受限、市占下滑。AMD新品Venice已小規模量產,主力仍為Genoa與Turin平台,雖受TSMC產能影響,預估市占將顯著成長至約27%。
Arm-based方面,AWS持續導入Graviton、NVIDIA Grace需求擴張、Google Axion大量出貨、Microsoft Cobalt 100與Arm自研AGI進入量產,使2026年Arm出貨成長優於x86,市占突破20%。TrendForce預期2027年Arm市占可望擴大至30%,主要動能來自NVIDIA Vera明顯擴大出貨,以及Google、AWS、Microsoft、OpenAI、Arm、Huawei等新CPU大量生產,加上阿里巴巴倚天720/730等新品帶動。x86陣營中,Intel新品仍小量釋出,AMD出貨更穩健並預計2027上半年推新品,市占持續提升。
顯示更多
三星宣布,其 16GB LPDDR6 已在高通 Snapdragon 8 Elite Extreme Gen 6 上完成業界首度驗證,I/O 速度最高達 10.7Gbps。這代表 LPDDR6 首次通過高通下一代行動平台的系統級驗證,雙方從早期開發即密切合作。
背景是裝置端 AI 正走向多模態互動與長時上下文代理人,對記憶體頻寬、功耗與可靠度要求大增。三星 LPDDR6 以更高每接腳 I/O 與擴充 I/O 架構,提供最高約 114GB/s 頻寬,減輕 LLM 推論時反覆讀取權重與 KV Cache 的瓶頸。
功耗方面導入 DVFS 與動態效率模式(DEM),可依負載即時調整電壓、頻率與低負載耗電,較 LPDDR5X 最高省電約 21%。可靠度則加入 PRAC,監控特定列反覆啟動,降低長時間 AI 運作時的資料干擾風險。
三星強調這不只是元件升級,而是記憶體與 SoC、系統架構一起驗證後的平台就緒成果;高通也表示 LPDDR6 能提供更複雜裝置端 AI 所需的頻寬與能效。更多細節預計於 Snapdragon Summit 2026 公布。
顯示更多
不是聊天機器人,是會「拍板」的小模型 🧠⚡
Laya 不寫文、不推理長篇。你丟一段現況+幾個明確問題(選哪個、急不急、是不是),它一次推論就給出帶機率的答案。
筆電大約 20–30 毫秒,一個 token 都不生成,資料也不出門。
跟生成式 LLM 差在哪?
🔹 LLM(System 2 那種用法):一段一段吐字,擅長寫、解釋、規劃,但慢、貴、答案還要再解析
🔹 System One 決策模型:不聊天,只做判斷。一次前向傳播,直接回傳「選項/分數/是或否+機率」
🔹 簡單講:LLM 負責想清楚再說話;Laya / Jev 負責先快速分流、打分、擋風險
跟 TypeSafe Jev 差在哪?
🔹 做的事很像,都不是生成模型
🔹 Jev:閉源雲端 API,複雜題通常更準,但資料要出門、要錢、要等
🔹 Laya:Apache-2.0 開源、本機跑、免費、可微調;簡單題能打,題一繞、選項一多就容易掉準度
這是新主流嗎?還沒。
比較像新一層基建:把「要不要升級給大模型」這件事,從每次都呼叫 LLM,改成先用超快的決策模型擋一層。寫作、推理還是 LLM;路由、審核、急迫度、遊戲裡下一秒怎麼動,才是這類模型的場。
想試:pip install laya
看它打遊戲:
模型:
顯示更多
軟銀成立「SB Neo」進軍美國Neocloud市場
軟銀公司與軟銀集團公司於2026年7月宣布,在美國共同成立SB Neo, Inc.(暫定名),由軟銀公司持股51%、軟銀集團持股49%,成為軟銀公司的合併子公司。
SB Neo將利用軟銀集團開發中的10吉瓦級能源與AI基礎設施,預計2028年3月(FY2027)正式推出neocloud服務,為美國大型企業及超大規模雲端業者提供大規模AI模型訓練與推論所需的運算資源。未來將分階段擴大規模,目標達到10吉瓦級AI基礎設施。
軟銀公司已在日本自2026年5月提供「Infrinia AI Cloud OS」驅動的GPU雲端測試版服務,將把累積的技術與經驗應用於美國市場。軟銀集團則負責提供美國現有的大型AI基礎設施支援。
孫正義表示,集團將共同打造世界級AI基礎設施,推動AI革命;宮川潤一則強調,將加速在美發展neocloud業務,並計畫在日本興建吉瓦級AI資料中心。
顯示更多
Intel Crescent Island AI GPU
Intel 在 Computex 2026 詳細揭露代號「Crescent Island」的下一代資料中心 AI GPU,基於 Xe3P 架構打造,專為agentic AI優化。
主要規格與特色:
- 採用 LPDDR5X 記憶體(非 GDDR/HBM),參考設計 160GB,最高可達 480GB,有效緩解 HBM 記憶體短缺問題。
- 預估使用 640-bit 匯流排,搭配 24GB LPDDR5X 模組,提供約 684 GB/s 頻寬。
- 功耗 350W,PCIe 擴充卡形式,氣冷設計,適合傳統 4U/5U 伺服器。
- 支援 FP4 至 FP64 多種資料類型,兼顧高效能推論與科學運算。
- 八張卡可提供 3.8TB 本地 GPU 記憶體,適合大型模型或多 AI 代理部署。
優勢分析:
使用 LPDDR5X 可讓更多 AI 資料靠近運算單元,減少資料搬移,提升推論效率;同時降低先進封裝壓力,更易大規模生產。搭配 Intel oneAPI 軟體堆疊,提供開放且 Day 0 就緒的開發環境。
Intel 表示 Crescent Island 將於 2026 年下半年推出,預計成為企業本地 AI 推論的重要解決方案。
顯示更多
Google 與聯發科深化 TPU v9 合作,開發升級版 Triggerfish,聚焦 AI 代理、強化學習與有效算力最大化
1. 我最新的產業調查顯示,Google 將在 TPU v9 / Humufish 的基礎上,開發代號可能是 Triggerfish 的升級版 v9 晶片,並由聯發科獨家取得此單價更高的新增訂單。
2. 此升級版晶片是以 Humufish 為基礎的延伸新案,定位為更強推論能力的 v9 改版,可同時緩解 CPU wall 與 memory wall。此案也進一步驗證聯發科是 Google 在 TPU v9 世代的合作首選廠商。
3. 此 v9 改版與 Humufish 的主要差異,在於:SRAM 容量顯著提升至 Humufish 的 2–3 倍、新增 simulation die、升級至 HBM4E(vs. Humufish 的 HBM4)。
4. 新增 simulation die 的可能功能除了本地 TPU 管理、訓練 / 推論模式切換等,關鍵聚焦在強化學習(RL)與 AI 代理協作。
5. 更大容量的 SRAM 可將更多 RL 與 AI 代理所需的活躍工作集(active working set)留在 TPU 本地,降低資料搬移成本,提升超低延遲 decode 階段的效率。
6. 在 Humufish 生命週期 400‒500 萬顆出貨預估不變下,Google 額外追加 100–200 萬顆 Triggerfish 訂單,預計 2027 年底開始生產、2028 年放量;因Triggerfish 單價較 Humufish 高約 30%,有望成為聯發科 2028 年營運動能的新增量。
顯示更多