智谱 AI 开源的大模型视频生成架构（CogVideo / CogVideoX 系列），GitHub 斩获 12.8k Star。直接把长视频生成、图生视频的部署门槛砸到了消费级显卡水平。 10秒长视频生成：打破 AI 视频“前 3 秒惊艳，第 4 秒变形”的死穴，能稳住连续动态。 低显存优化：经过量化与 CPU Offload 处理，普通 4090 或 INT8 方案几 G 显存就能在本地拉跑。 图生视频 & 高清分级：支持 1360*768 等多分辨率自由定画幅，还提供了 ComfyUI 工作流封装。 生态极度丝滑：已有现成的 Gradio WebUI，顺带支持自定义 LoRA 微调（比如做室内设计、微缩场景）。 🔗 链接 & 源码 GitHub：

$NVDA $MRVL AI Hyperscalers 已从"建设"阶段转入"变现"阶段，瓶颈随之转移。关键不再是有多少算力，而是每瓦电能跑出多少 token。 Memory wall 在扩大，不是在收窄： - 过去 20 年，Peak FLOPs 每两年 +3x，但 memory bandwidth 只 +1.6x，capacity 只 +2x - $NVDA Rubin 相比 Blackwell 推理算力 +5x，但 HBM bandwidth 只涨 2.8x，memory 仍是硬约束，且代际间差距没有收窄 HBM 成本持续攀升加剧了这个矛盾： - HBM 占 B200 BOM 约 52%，Rubin 预计升至 62%，192 GB HBM 系统成本 $20 万以上，是等量 DDR5 的 5 倍以上 - Hyperscaler 数据中心 PUE 已接近物理极限（1.09–1.17），外围效率优化空间几乎耗尽 解法指向 offload engine：把 KV cache 卸载到更便宜的内存层，让 XPU 保持满载，而不是继续堆昂贵的 HBM。 Nvidia 内部数据：Vera Rubin NVL72 + Groq 3 LPX rack 相比 GB200 NVL72，每 MW token 吞吐量高 35x。 这直接利好 $MRVL：server DDR5 定价已升至约 $40/GB，DRAM-based CXL offload 相比堆 HBM 有明显成本优势，Marvell 的 CXL + custom silicon 正处在这个受益位置。 两条技术路径即将分叉： $NVDA 推 proprietary CMX，开放生态走 CXL（vendor-neutral）。 非投资建议！不是让你现在就买 MRVL

TrendForce：受惠於北美市場需求持續上調，Enterprise SSD第四季價格預估將持續上行 TrendForce指出，近兩週美系雲端業者上調Enterprise SSD需求，因各大CSP加速擴大部署與應用場景。需求不只集中在高效能TLC，價格與容量更具效益的QLC成為主要成長動能。 從拉貨動能看，第四季Enterprise SSD訂單總量極可能突破第三季高點，持續向上。原廠在企業級市場的產能配置與議價主導權因此提升，價格上行基礎更穩固。 驅動因素已從初期LLM訓練延伸至AI落地應用。北美Agentic AI系統佈建興盛，對即時巨量數據擷取與快取需求倍增，QLC在向量數據庫的應用同步放大，成為承載非結構化數據的高性價比方案，未來將推升其在北美雲端與資料中心的滲透率。 中國方面，以DeepSeek為代表的架構正推廣大容量QLC Enterprise SSD用於KV Cache Offload，將記憶體快取卸載至高速大容量QLC，以較低成本提升推論效率，中國市場後續也有機會擴大採用QLC eSSD。

MiniMax H3：租显卡还是买显卡？两种自建方案对比 想自己部署 MiniMax H3，真正需要解决的不是软件，而是 GPU。SGLang、ComfyUI 和模型代码基本都能免费使用，但 H3 视频生成需要大量显存和算力。 目前主要有两条路：租云显卡，或者自己买显卡。 方案一：租云显卡 租一台带 RTX 5090 的云服务器，按小时开机，用完关机。 以当前云平台公开价格估算： • RTX 5090 32GB：约 $0.99/小时，折合约 ¥7/小时 • 使用 20 小时：约 ¥143 • 使用 100 小时：约 ¥713 • 使用 300 小时：约 ¥2,140 • 连续开一个月：约 ¥5,130 • 另外还要算磁盘、流量和模型存储费用 我在某鱼看了一下RTX 5090 32GB 一小时也要5元 ，现在模型很火商家坐地起价也很正常 优点： • 不用一次性买显卡 • 不用处理散热、供电和驱动 • 按小时计费，用多少算多少 • 可以先测试 H3 到底适不适合自己 • 需要批量生成时，可以临时升级多卡服务器 缺点： • 长期使用会越来越贵 • 云服务器网络和硬盘可能额外收费 • 机器库存、地区和价格会变化 • 需要自己配置 Linux、驱动和运行环境 • 单张 5090 主要适合测试和个人使用，速度不会像官方云服务那么快 适合的人： 偶尔做视频、刚开始研究 H3、暂时不确定使用量的人。 方案二：自己买显卡 购买一张 RTX 5090 32GB，装到自己的台式机里，在本地部署 H3。 粗略预算如下：按照当下某鱼我看到的最新价格算 • RTX 5090 显卡：约 ¥15,000～35,000（闲鱼15000的5090很多是钓鱼/故障卡，实际靠谱可成交，大多要1.7万以上） • 64GB 内存：约 ¥1,300～2,000 • 1TB 以上 NVMe：约 ¥500～1,000（H3本地部署，硬盘建议直接2TB，模型+缓存会吃掉很大空间，1TB会很快爆满） • 电源、主板、CPU、机箱和散热：约 ¥4,000～8,000（电源别省！5090功耗很高，最低850W金牌以上，优先选1000W更稳妥） • 整机大约：¥20,000～45,000 实际价格看品牌、行情和你已有的配件。只买显卡、不配整机的话，成本会低一些。 RTX5090不是跑H3的最低门槛，4090(24G)量化后也能跑，只是分辨率、时长受限。（这是已5090为例 至少要玩的舒服一些 ） 后续主要是电费： • 整机满载大约 0.7～1 度电/小时 • 按每度电 ¥0.6～1 计算 • 每运行 100 小时电费约 ¥40～100 • 每月运行 300 小时，电费约 ¥120～300 优点： • 买下来后不用按小时交租金 • 文件和模型都在自己电脑里 • 没有云平台停机、封号和库存问题 • 可以长期运行，也能部署其他 AI 模型 • 大量使用时，单次生成成本更低 缺点： • 前期投入高 • 需要自己处理驱动、CUDA、散热和系统故障 • 显卡会折旧，满载运行也有噪音和耗电 • 5090 32GB 仍然属于单卡测试档，H3 需要 offload，速度有限 • 想做多人服务或批量生产，单卡不够，还要上 4 卡服务器 两种方案怎么选？简单看使用时间： • 每月使用 20～100 小时：租显卡更划算 • 每月使用约 300 小时：开始接近买显卡的合理区间 • 每月长期超过 500 小时：买显卡更合适 • 要多人同时使用：直接考虑多卡服务器，不要买一张 5090 硬扛 按租赁价格计算，一台 ¥20,000 左右的 5090 整机，理论上运行约 3,000 小时可以抵掉租金。考虑显卡折旧、维护、断电和闲置时间，实际回本周期大约 10～18 个月。 最推荐的路线 如果只是个人做视频： 先租一张 RTX 5090，花 ¥200 左右测试 20 小时，跑通 MiniMax H3-Base 的 768p 生成。确认速度、画质和使用频率都能接受后，再考虑买整机。 如果已经确定每天都要生成，或者每月使用超过 300 小时： 买一张 RTX 5090 本地部署更合适。系统建议 Ubuntu，内存 64GB，NVMe 至少 200GB，使用 ComfyUI 或 SGLang。 如果是商业批量生产： 考虑 4 张 A100/H100 级别显卡，用 SGLang 部署。成本会明显上升，不适合个人刚开始就投入。 还要注意一点：本地 H3 主要能跑 H3-Base 的 768p 流程，官方 H3-Context-IR 和 H3-Regenerate-2K 目前没有完全开源。想复现完整 2K 效果，需要调用官方 API。 总结： 不确定用多少，先租；确定长期高频使用，再买。先花 ¥200 验证，比直接花两三万买机器稳得多。

推荐这篇文章，Together AI 的 ThunderAgent（ICML 2026 Spotlight）。 把 agent 工作流当成一个"程序"来调度，而非一系列无关的请求——单节点吞吐翻倍，8 节点近线性扩展。 Together AI 在 7 月 29 日发布了 ThunderAgent——一个面向 agentic 推理的高吞吐调度系统。ICML 2026 Spotlight 论文。核心贡献：把 agent workflow 抽象为"程序"而非"一系列不相关的请求"。 问题：KV Cache Thrashing Agent 工作流在两个阶段之间交替：GPU 密集的推理阶段和 GPU 空闲的等待工具返回阶段。当数百个 agent 并发运行时，各自的 KV cache 在每轮不断增长，竞争有限的 GPU 内存。 传统推理引擎（vLLM、SGLang、TensorRT-LLM）按请求级别调度——agent A 暂停等待工具调用时，它的 KV cache 被 LRU 淘汰腾出空间给 agent B 的 prefill。当 A 的工具返回，引擎必须从头重算 A 的整段对话历史，这又淘汰了 C 的 cache。高并发下，这种淘汰和重算的级联反应导致严重的吞吐量和延迟退化——论文称之为 KV cache thrashing。 能通过加 GPU 节点解决吗？不完全。现有多节点路由器（如 SGLang Gateway）把每个 agent 钉在固定节点上以保留 cache 局部性——但 agent 的上下文长度不可预测增长，某些节点被赋予长上下文 agent 导致内存耗尽，其他节点闲置。 能通过 KV cache offloading 解决吗？也解决不了。LMCache 和 HiCache 把 KV cache 卸载到 CPU 内存或磁盘，扩大了总容量但只是延迟 thrasthing。当并发 agent 的工作集超过所有存储层级时，淘汰恢复，同一个恶性循环重现。 ThunderAgent 的解法 ThunderAgent 在 agentic 客户端和推理后端之间插入一个轻量调度层。它将每个 agent 工作流抽象为一个可调度程序（program），追踪其执行阶段、KV cache 占用和节点位置。 Program-level admission control：监控每个节点的内存压力，选择性暂停低优先级工作流，减少竞争 cache 的程序数量。当被暂停的工作流准备恢复时，通过全局等待队列路由到容量最充足的节点。 多节点部署：用全局等待队列替代了基于 session 的静态节点绑定。暂停的工作流恢复时被路由到可用容量最多的节点，在 KV cache 局部性和多节点负载均衡之间取得平衡。 评测 集成在 Together AI 自己的合成数据生成管道里——就是产生 CoderForge 等数据集的那套基础设施。对比 SGLang 默认调度器： 单节点 8×H100（HiCache offloading），batch size 192： • SGLang：吞吐 390 token/s，平均延迟 65s • ThunderAgent：吞吐 803 token/s，平均延迟 10.6s 多节点（2→8 节点）： • 近线性扩展，16 GPU 到 64 GPU 吞吐从 671 增长到 2248 steps/min • 加速比随集群规模增大：2 节点 1.79× → 8 节点 2.39× 使用 一个 program_id 字段，OpenAI 兼容 API，直接适配现成的 offloading 和 speculative decoding。已被 SkyRL 和 NVIDIA Dynamo 集成。 GitHub： 论文： #AgentInference# #KVcache# #ThunderAgent#

现在很多人优化 Agent 成本，第一反应是： 换更便宜的模型，或者做 model routing。 但这篇论文提醒了一个更容易被忽略的地方： Agent 真正烧钱的，是整个执行循环。 一次 Agent 任务里，可能包含多轮对话、工具调用、上下文回放、历史压缩、重试、等待、子任务委派。 这些东西怎么组织，决定权大多在 harness / orchestration layer 这一层。 论文把这个现象叫做 token maxing： 模型单 token 价格在下降，但 Agent 为了完成更复杂的任务，会塞进更多上下文、更多工具信息、更多 reasoning trace。最后每个任务消耗的 token 反而越来越多。 实验设计很直接。 作者用 22 个企业 Agent 任务，测试 6 个模型，包括 Claude、Gemini、Qwen、GLM、Palmyra 等。然后只替换 orchestration layer：一边是普通 production agent loop，一边是 Writer Agent Harness。 结果很明显： 换上 Writer Agent Harness 后，平均任务成本从 $0.21 降到 $0.12，token 从 14.2k 降到 8.8k，耗时从 48 秒降到 27 秒；任务质量基本持平，quality per dollar 提升 82%。 这个差异主要来自几个很工程化的设计： 稳定内容放进可缓存 prefix，变化内容放在 tail；旧历史做结构化压缩；大块上下文尽量 offload；等待和重试阶段要有预算控制。 这篇最有意思的地方在于，它把 Agent 成本问题从「选哪个模型」推进到了「怎么组织一次任务执行」。 这对 AI coding、Research Agent、多智能体系统都很关键。 之后做 Agent，不能只盯模型榜单。真正拉开差距的地方，会越来越多地出现在 context engineering、tool exposure、cache discipline、failure governance 和 workflow orchestration 这些层面。 Agent 越复杂，harness 越像基础设施。 模型决定能力上限，harness 决定接近这个上限要花多少钱。 📎 arxiv: