SuSu_酥酥👅(@NFT_Chen):😱炸了！智谱Zai创始人唐杰在清华课堂硬核算账：大模型尽头是算账！揭秘GLM系列模型跑在纯国产芯片是怎么“玩得起”的？！智谱唐杰在清华课上把“Scaling to be used”摊开讲：算法再巧妙，也得跑起来、玩得起，整节课就是一笔经济账，结合GLM真实经历，把推理成本与国产卡实战讲透。关键细节： 1️⃣GPU按小时收费，利用率10% = 十倍价格 卡再贵，闲着就是浪费，实际成本直接翻倍。 2️⃣GLM 5.0发布当天量超指数、直接停售 过年把训练卡全拿去推理，年后做研究发现一张卡都没有，半年持续缺卡。 3️⃣1000 TPS超快版：一台机器只能服务一个人 有人说多贵都要，唐杰直说那得百万级一年，最后降到两三百TPS换并发。 4️⃣国产卡实战：底线40 TPS/用户，硬优化到70 现在的Flash就跑在国产卡上，从能跑到能打全是工程硬刚。 5️⃣推理贵的本质：Decode卡的是带宽，不是算力 Prefill能打满GPU，Decode一个token一个token蹦，大部分时间在等数据，H100每读1 byte要做约295次计算才不亏，新卡算力涨得比带宽快。 6️⃣降本两大招 ◦压KV Cache：DeepSeek V3每token七万多byte，V4.1 Flash压到890 byte。 ◦投机解码：小模型先猜一串，大模型一次性验证，用闲着的算力白捡。 7️⃣Agent最烧钱 每一步重发全上下文、不做缓存命中，token一下刷完。 8️⃣金句：速度本身就是产品 同样的卡，推理好坏能差十倍，极端四五十倍。 GLM Flash正是把这套账算明白后落地的，国产卡集群扛住生产流量，单token成本对标主流GPU，大模型竞赛早就从“堆参数”转向“谁能真正跑得起、用得起”。速度 × 成本 × 工程能力，才是下一阶段真正的壁垒。 #人工智能 #大模型 #智谱 #GLM #唐杰 #清华 #国产芯片 #推理优化 #DeepSeek #token #AI智能体 #agent #Scaling #Flash模型

2026.10.30 17:02

😱炸了！智谱Zai创始人唐杰在清华课堂硬核算账：大模型尽头是算账！揭秘GLM系列模型跑在纯国产芯片是怎么“玩得起”的？！智谱唐杰在清华课上把“Scaling to be used”摊开讲：算法再巧妙，也得跑起来、玩得起，整节课就是一笔经济账，结合GLM真实经历，把推理成本与国产卡实战讲透。关键细节： 1️⃣GPU按小时收费，利用率10% = 十倍价格 卡再贵，闲着就是浪费，实际成本直接翻倍。 2️⃣GLM 5.0发布当天量超指数、直接停售 过年把训练卡全拿去推理，年后做研究发现一张卡都没有，半年持续缺卡。 3️⃣1000 TPS超快版：一台机器只能服务一个人 有人说多贵都要，唐杰直说那得百万级一年，最后降到两三百TPS换并发。 4️⃣国产卡实战：底线40 TPS/用户，硬优化到70 现在的Flash就跑在国产卡上，从能跑到能打全是工程硬刚。 5️⃣推理贵的本质：Decode卡的是带宽，不是算力 Prefill能打满GPU，Decode一个token一个token蹦，大部分时间在等数据，H100每读1 byte要做约295次计算才不亏，新卡算力涨得比带宽快。 6️⃣降本两大招 ◦压KV Cache：DeepSeek V3每token七万多byte，V4.1 Flash压到890 byte。 ◦投机解码：小模型先猜一串，大模型一次性验证，用闲着的算力白捡。 7️⃣Agent最烧钱 每一步重发全上下文、不做缓存命中，token一下刷完。 8️⃣金句：速度本身就是产品 同样的卡，推理好坏能差十倍，极端四五十倍。 GLM Flash正是把这套账算明白后落地的，国产卡集群扛住生产流量，单token成本对标主流GPU，大模型竞赛早就从“堆参数”转向“谁能真正跑得起、用得起”。速度 × 成本 × 工程能力，才是下一阶段真正的壁垒。 #人工智能# #大模型# #智谱# #GLM# #唐杰# #清华# #国产芯片# #推理优化# #DeepSeek# #token# #AI智能体# #agent# #Scaling# #Flash模型#

SuSu_酥酥👅@NFT_Chen

2026.10.29 07:18

🔥细节满满！智谱Zai创始人唐杰教授清华课堂上直接亲切喊“文峰”和“植麟”，并把DeepSeek、Kimi技术路线现场拆了，还坦白GLM-5.3降智真相！  教室要排队取号，看落座情况选机位。华子四人小组，每组直接配两张A100。唐老师不讲枯燥公式，全是一线工程经验，把复杂内核讲得风轻云淡，学生直呼“特别能代入”。他的核心理念  唐杰反复强调：探索智能上限本质上是一笔经济账，处处都是tradeoff。无论是GLM自己的训练与推理取舍，还是对照DeepSeek、Kimi的技术路线，核心都是在算力、数据、架构、长上下文、Agent能力之间做取舍，没有免费午餐。 GLM-5.3降智背后，课堂上他主动分享了今年GLM出现“降智”的原因： 🔹一是典型的scaling pain，规模化过程中踩到各种坑（高负载下KV Cache竞态、复读、乱码等异常，官方此前也发过相关技术报告）； 🔹最近则是因为超算中心网络问题，影响了部分推理节点的输出质量。这些都不是模型本身“变笨”，而是基础设施在极限条件下的真实工程挑战。最让学生羡慕的一幕：  唐老师亲切地直接喊“文峰”和“植麟”。杨植麟是他当年在清华KEG实验室的明星学生，2014年特等奖答辩时唐杰曾力荐“这是我见过最优秀、最有天赋的学生”；梁文峰则是中国基模圈另一条核心路线的代表。师徒+同行在课堂上被点名分析，现场感拉满，学生直呼“天才们的世界”。他还聊了什么：  分享手下做GLM的博士发paper不多也能拿优秀博士，鼓励大家多做有价值的事、多开源利他项目，而不是卷无效paper。真正能感受到老师对“让机器像人一样思考”、不断摸高智能上限的情怀。中国基模三强（智谱、Kimi、DeepSeek）的技术路线对比、工程踩坑与取舍，就在清华课堂被这样坦诚拆开。 #智谱# #唐杰# #DeepSeek# #Kimi# #GLM# #大模型# #清华大学# #AI# #人工智能# #scaling# #基模# #杨植麟# #梁文峰#

Forward to community