註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

檢索結果 推理优化
推理优化 貼吧
一個關鍵字就是一個貼吧,路徑全站唯一。
建立貼吧
用戶
未找到
包含 推理优化 的搜尋結果
NBIS今日宣布以6.43亿美元收购推理优化公司Eigen AI,股价盘中反弹至150美元。 Eigen AI的核心技术是让AI模型跑得更快、成本更低,团队来自MIT,支持Llama、DeepSeek、Qwen等主流开源模型。 这笔收购最关键的意义在于补全了NBIS的垂直整合版图。Nebius此前的强项是GPU算力和云平台,但缺少软件优化层。现在从芯片到推理部署,NBIS可以一条龙交付,客户不需要自己搭建复杂的优化pipeline,直接用Token Factory拿到开箱即用的推理服务。 从”卖算力”到”托管推理平台”,这是NBIS真正的进化方向。
顯示更多
AI视频训练侧确实极其烧钱,训练侧成本极高,,但推理成本相对传统视频制作已经非常低,而且随着 GPU/专用芯片和推理优化,仍在持续下降。但难点就在变现,寻找可以落地的商业场景。 字节跳动就是其中的佼佼者。字节有上游 IP、中游制作、下游分发与变现,全部可以在体系内完成。 上游方面: 番茄小说提供 IP 供给。平台上有 300 万常驻作者、70 万签约作者和 180 万部授权作品; 中游方面: 短剧创作者、制作公司与 AI 工具共同构成制作网络。 Seedance 2.0 和剪映团队的“小云雀”短剧代理等工具落地:单集制作成本可从此前的 5–10 万人民币压缩至约 5,000 元,制作周期缩短70%。 下游方面: 红果短剧和红果漫剧承接流量与变现。 红果短剧的月活已达 3.04 亿,占独立短剧 App 市场约 90%,用户日均使用时长约 125 分钟;红果漫剧上线四个月即达到 2,400 万月活。 数据来源: @FundaAI
顯示更多
懒猫算力舱 X5 终于上线了,2070T 最强推理算力,128GB 超大显存,英伟达芯片,还配备 100GB 光口 和万兆网口,所有配置拉满 超帅超强,比 GB10 性能还强一倍,可以通过光口和 vllm 无限组网跑本地大模型,可以当独立电脑用 详细配置参数如下,预售 200 台已卖光,想要进一步了解软件性能的评论区打 1 懒猫 AI 算力舱(LazyCat AI Pod)详细硬件参数 1. 产品概述 紧凑型 AI 计算设备,面向硬核开发者 搭载 NVIDIA Jetson GPU,支持 CUDA 生态 统一内存架构,可本地部署大规模 AI 模型(如 DeepSeek-V4-Flash 284B) 预装 Ubuntu,支持本地 AI 部署,可作为私有 AI 超算替代云服务 从开箱到运行 AI 模型约 5 分钟 支持多机联网扩展算力 2. CPU 架构:Arm® Neoverse®-V3AE 64-bit X5-T4000**:12 核心,最高频率 2.6 GHz,每核心 1 MB L2 缓存,16 MB 共享系统 L3 缓存 X5-T5000**:14 核心,最高频率 2.6 GHz,每核心 1 MB L2 缓存,16 MB 共享系统 L3 缓存 3. GPU / AI 算力 架构:NVIDIA Blackwell X5-T4000(NVIDIA Jetson T4000)**: 1536 核心 第 5 代 Tensor Core MIG:6 TPC 最高频率 1.53 GHz AI 性能:1200T X5-T5000(NVIDIA Jetson T5000)**: 2560 核心 第 5 代 Tensor Core MIG:10 TPC 最高频率 1.57 GHz AI 性能:2070T 完整支持 CUDA 生态;非 CUDA 芯片实际 AI 性能约降低 50% 4. 内存 类型:LPDDR5X,256-bit 带宽:273 GB/s X5-T4000**:64 GB X5-T5000**:128 GB(可支持 DeepSeek-V4-Flash 284B 大模型:总参数 284B / 激活参数 13B,适合文生图、文生视频等任务;支持 vLLM 及多机联网扩展) 5. 存储 系统存储(嵌入式):64 GB eMMC 5.1(主要针对 X5-T5000 提及) 模型存储:最高 32 TB(通过最多 2 个 M.2 接口) 支持 PCIe NVMe 和 USB 3.2 SSD 6. 网络与接口 有线网络 X5-T4000**:1 × QSFP28 光口(最高 75 Gbps,3 × 25GbE)+ 1 × 10GbE RJ45 口(支持网络唤醒) X5-T5000**:1 × QSFP28 光口(最高 100 Gbps,4 × 25GbE)+ 1 × 10GbE RJ45 口(支持网络唤醒) 无线 Wi-Fi:海华 WIFI6 XB560NF 无线网卡,双贴片天线 蓝牙:5.4 其他端口 1 × Type-C 3.2 Gen2(10 Gbps) 2 × USB 3.2 Gen1(5 Gbps) 1 × HDMI 2.1(支持 8K 输出) 1 × DC 电源口(5.5×2.5 mm) 7. 电源与功耗 模块功耗: X5-T4000:40W ~ 70W X5-T5000:40W 130W(针对 AI 推理优化,远低于消费级 GPU 的 350W 450W) 电源适配器:氮化镓宽电压适配器,输入 100V ~ 240V,输出 12V/8A,频率 50/60 Hz,支持 UPS 不间断供电 8. 外观与物理规格 尺寸:144 × 130 × 61 mm(长 × 宽 × 高) 重量:2.3 kg 外壳:金属机身 颜色版本: 太空白(喷砂烤漆工艺) 星辰灰(阳极氧化工艺) 9. 散热 直吹液压静音风扇 10 mm 大风量风扇 静音 FDB 轴承 转速 3500 ± 10% RPM 配备定制静音转速算法,12V 供电 10. 软件与系统支持 操作系统:预装 Ubuntu(含 CUDA 加速驱动和 AI 开发环境) 支持框架:Ollama、vLLM、Shimmy 等 常见应用:Jupyter Notebook(一键安装 CUDA 支持)、ComfyUI(文生图)、AI 语音识别/合成、DeepSeek OCR、文档/PDF 翻译等 支持内网穿透,手机远程访问 100% 本地部署,数据物理隔离,无需上传云端 可独立作为 Ubuntu AI 电脑使用(接键鼠显示器),也可多机联网扩展
顯示更多
0
30
11
0
轉發到社區
今天有个搞Infra的小男娘发消息跟我说 这是他成年以来最好的秋天 这一年他终于找到了做推理优化的工作 每天和GPU、Kernel、MoE、KV Cache打交道 以前想研究DeepSeek的推理系统,只能对着论文、技术博客和Benchmark,一点点猜他们线上到底是怎么跑的 今天DeepSeek突然把DeepInfer开源了 分布式推理、推测解码、SWA Bounded Replay,连调度器和高性能算子都放出来了 英伟达和华为昇腾都支持,连生产级的Token编解码组件也一起开源 过去要花几个月研究的东西,现在直接就能在GitHub上看源码 今天下午他坐在工位上 突然整个Infra群都沸腾了 所有人停下手头的调参,开始疯狂Clone仓库 有人在看Kernel,有人在研究调度器,还有人在讨论怎么把公司祖传的推理框架换掉 他说很开心 有种人类Infra黄金时代的错觉
顯示更多
0
60
987
51
轉發到社區
今天结束了,看完发布会,这次 Qwen 发布了不少新模型,但更值得关注的是,它正在形成一套从模型训练、推理优化到芯片协同的完整研发体系。 其中一个重点是 RSI,也就是模型递归自我进化。Qwen3.8-Max 在较少人工干预的情况下,连续运行一个多月,完成了 33 轮有效迭代。 几个现场公布的数据很直观: - Qwen 自主适配新的硬件环境并优化 SGLang,单实例吞吐提升 96% - 在芯片设计实验中连续运行 60 多个小时,调用 EDA 工具超过 1 万次,最终将物理实现面积减少 42% -Qwen3.8-Flash 缓存命中的输入,每百万 Token 低至 0.1 元 - Qwen3.8-27B 用消费级显卡的电脑就能运行,被开发者称为本地版 Opus 4.6 这次发布的 Qwen3.8-Omni-Flash 也很值得关注。它将文本、图像、音频和视频放进统一的理解框架,支持 1M 上下文和最长 1 小时的音视频输入。在价格上,四种模态统一计费,输入每百万 Token 0.8 元,缓存命中只要 0.1 元。相比上一代模型,输入价格下降约九成。 从现场释放的信息来看,Qwen 的方向已经比较清楚,继续提高模型能力,同时降低运行成本,并让模型更深入地参与训练、推理和芯片设计流程。此外,Qwen 还在继续押注 Scaling 和统一多模态。采用新一代架构的 Qwen4 已经开始训练,后续 Qwen4.5、Qwen5 计划将总参数量扩展到 5 万亿至 10 万亿。阿里在现场还提到,未来三年可能会出现原生的全模态统一模型,模型体验将不再受文本、图像、音频和视频之间的边界限制。 与此同时,Qwen 的开源生态也在快速扩大。目前阿里已经开源 460 多个 Qwen 模型,累计下载量超过 30 亿次,衍生模型超过 30 万个。Qwen3.8-27B 也超过 DeepSeek-R1 和 Llama 3.1,成为 Hugging Face 历史上获赞最多的开源大模型。 对开发者来说,最直接的变化就是模型更强了,本地运行门槛更低了,音视频处理也更便宜了。
顯示更多
0
21
12
0
轉發到社區
信息差: 小米 MiMo(大模型系列)最近确实在大降价,而且是今天(2026年5月27日)正式生效的永久大幅降价! 具体情况小米 MiMo 是小米自研的大语言模型系列(MiMo-V2.5 系列等),专注于推理、编程、Agent(智能体)场景,支持多模态。 今天官方宣布对 MiMo-V2.5 系列 API 进行永久价格调整,相比之前最高降幅达 99%,同时优化了 Token Plan 订阅套餐。 主要变化: 按量计费(Pay-as-you-go):大幅降低单 Token 价格,不再区分输入长度(取消长上下文高倍率),对标 DeepSeek 等低价策略,性价比极高。 Token Plan 订阅套餐:额度大幅增加 5-8 倍(同等价格下用量大增),现有套餐用户额度全量重置(已消耗的也重置),北京时间今天 00:00 生效。 其他福利:夜间时段有折扣,TTS(语音)等限时免费,推理优化后效率提升(KV Cache 等技术改进)。
顯示更多
简单看了一圈刚发布的 Hy4 preview,我觉得有 3 个点挺有意思。 第一,它明显在为长任务和 Agent 做准备。 1M 上下文背后塞了 Sparse Attention、IndexCache、MTP,不只是把窗口数字拉大,而是在解决长链路任务真正跑不动的问题。 第二,Hy4 已经开始参与“研发自己”。 从训练策略、评测到推理优化都开始让模型参与,官方给出的吞吐提升是 31.8%。 第三,模型竞争开始从“会不会答题”,转向“能不能长期干活”。 腾讯也开始拿真实工程任务测试,缓存价格已经打到了 0.3 元 / M Token。 看来这次腾讯是像这种动真格的了,已经不再是比单纯的模型能力,而是谁更适合成为长期运行的 Agent 底座。
顯示更多
在 CoreWeave ($CRWV) 2026 年 Q2 财报电话会议中,管理层特别提到有客户签署了延伸至 2029 年的 A100 租赁合同。 由于Michael Burry等空头认为很多大厂强行延长了GPU的折旧时间,属于财务粉饰;也因此很多人认为这狠狠地打了Michael Burry的脸。 打不打脸另说,但这至少说明英伟达的GPU硬件的使用寿命会比大家想象的要长很多。传统印象中硬件很快就会过时,但英伟达 $NVDA在软件生态方面的改进,对旧硬件的续命与价值挖掘是有突出贡献的。 英伟达并非仅靠更新硬件(如 Hopper/Blackwell)来提升性能,其全栈软件生态的持续演进大幅延长了 A100(Ampere 架构)的技术生命周期与投资回报率(ROI): 1. 推理优化框架(TensorRT-LLM / vLLM 兼容)大模型推理算力释放:英伟达推出的 TensorRT-LLM 以及对开源社区(如 vLLM)的深层适配,引入了如 PagedAttention、Chunked Prefill(分块预填充)、投机采样(Speculative Decoding) 等高级优化技术。吞吐量倍增:通过纯软件层的内存管理与 Kernel 融合优化,A100 在运行主流开源大语言模型(如 Llama 3 系列、DeepSeek 系列)时的推理吞吐量和延迟表现,比硬件发布初期提升了数倍,使其非常适合承担性价比极高的中量级推理任务。 2. FlashAttention 与算子级(Kernel)优化突破 HBM2e 带宽瓶颈:A100 拥有 80GB HBM2e 显存和 2 TB/s 带宽。随着 FlashAttention-2 及后期针对 Ampere 架构算子的持续重构,GPU 在注意力机制计算时的显存读写开销大幅降低,使得计算单元(Tensor Cores)利用率接近极限。 TF32 与 INT8/FP16 持续调优:英伟达在 CUDA 代码库中持续完善 Ampere 专有的 Tensor Float 32 (TF32) 及混合精度计算吞吐,免去了企业大幅修改底层代码的麻烦。 3. 多实例 GPU(MIG)与细粒度切分资源弹性复用:A100 硬件上支持将单卡切分为最多 7 个独立的 MIG(Multi-Instance GPU)实例。 云原生调度优化:结合英伟达 Triton Inference Server 和云厂商(如 CoreWeave)的编排软件,企业可以将 80GB 的 A100 精细化切分给轻量级 AI 服务(如 Embedding 模型、小参数微调、RAG 向量检索等),实现极高的资源利用率和单位成本效益。 4. CUDA 向后兼容性与生态长寿命支持(LTS)版本不脱节:英伟达最新的 CUDA 版本(如 CUDA 12.x+)和底层驱动保持着对 Ampere 架构的完整原生支持与功能适配。 NGC 优化容器:英伟达在 NGC(NVIDIA GPU Cloud)上持续更新针对 A100 优化的深度学习框架容器(PyTorch、TensorFlow、NeMo 等),确保用户无需更改底层架构即可直接享受到软件栈带来的性能增益。 总结与行业视角英伟达的“软硬一体”策略使硬件随着时间推移因软件更新而变快(Software-Driven Performance Upgrades):集群成熟度(已部署、即开即用、供电稳定) + 软件持续优化(降低推理 Token 成本) = 旧卡仍具备高经济价值。对于很多企业而言,训练超级大模型可能需要 Hopper 或 Blackwell,但在长尾推理、中小型模型微调、RAG 和数据预处理等场景下,经过软件高度优化后的 A100 提供了极佳的成本效益比,因此租赁合同顺理成章地延长到了 2029 年。
顯示更多
这两天国产大模型是真的神仙打架,作为K3之前SOTA的GLM5.2,最近AI圈都在猜智谱下一代模型什么时候发。但我把最近谱子的几个动态串起来看,发现真正值得聊的,不止是模型本身。 先说这两天市场在传的两步棋 ♟️ 第一子|1GW级国产算力中心 昨天各种群里已经有截图小作文转,今天看到彭博社报道,智谱已落地一座1GW级数据中心,而且全部用国产AI芯片。 ♟️ 第二子|收购中科加禾(XCore Sigma) 这是中科院计算所出来的团队,做AI底层编译和推理优化的,国内比较顶尖的AI Infra团队 今年国内算力荒,之前GLM5 发布的时候也是很多人排队买coding plan买不到,真正限制智能的,反而不是模型本身了。 所以从GLM-5到GLM-5.2,可以明显感觉到,智谱优化的不只是模型能力,而是整个模型交付能力。 这也是5.2出圈的一个很关键的原因。 所以把这些带到唐老师的猎龙逻辑 - 模型(GLM持续迭代)→ 决定智能上限 - 算力(1GW国产中心)→ 决定scale能力 - Infra(中科加禾)→ 决定工程效率 - Agent + MaaS + 大客户基础→ 决定能不能真正进生产环境 一家Frontier AI公司的核心能力建设,智谱是不是已经基本完成了? 尤其补充了最大的算力短板,是不是可以撸起袖子和海外开干了?拭目以待… 不过我还是更关注智谱下一代的参数量哈哈 ps.gujia盘中直接拉了19%……资本市场永远比我们反应快。
顯示更多
如果你会 AI,但是不投资,那就有点亏大了 不论是投资 $MRVL $AMD 等一众算力互联标的,还是 AI Infra学习,收藏搞懂我这篇帖子,对你帮助都一定会很大 算力发展远远不足,早点搞懂,就能早点把握住机会。不信你看下去 为什么OpenAI 想要提供快的推理速度,就得牺牲订阅额度上限,这个帖子是我认真整理的内部流程,看懂了它,你会更加得心应手。 1/ 我先来说两个指标 > TTFT (Time to First Token),它来衡量你发出一条消息之后,OpenAI 多久响应吐出第一个字。 > TPOT(Time per Output Token),这个来衡量你总体的体感速度,以及什么时候完成? 你总的等待时间约等于 TTFT 加 n 乘以 TPOT,n 就是你的 Token output总量,就是 AI 给你回了多少话 你可以大致粗略地记一句话。1 个 GPU 如果只给一个用户用,那么两者的速度都会很快,但互联的速度跟不上,因此 GPU 会有闲置时间,会导致浪费 那聪明的厂商就把一个 GPU 分给多个用户,这样 GPU 的闲置时间被充分使用了。但每个用户因为 GPU 调度需要等待的时间就会变长,导致整体速度变慢 2/ 那 GPU 内部在推理的时候,到底发生了什么呢? 我做推理优化,这个循环是每天都要打交道的东西。我把一个请求在推理引擎里走的 5 步画进了一页动图,先说结论,后面按图的顺序讲 1. 请求进来不会直接上 GPU,而是先进调度器,由 CPU 驱动。GPU 每跑一步,调度器就重新挑一次人,批次每一步都在换人,这叫 continuous batching 2. 评估推理服务,工业界盯三个数,吞吐、出字间隔 ITL、首字延迟 TTFT,而且要看 P99, P50,需要有统计意义 3. 这三个数互相拉扯,决定了用户的成本和总的等待时间,总的来说是一个权衡(trade-off) 3/ 先过一遍图里的 5 步 ① 新请求带着整段 prompt 排队 ② 调度器每一步开跑前问三件事:已经在跑的先上,本轮 token 预算还剩多少,KV cache 的格子还够不够 ③ 能上的拼成一批。新来的做预填(prefill),整段 prompt 一次算完;老的做生成(decode),每人只写 1 个 token ④ GPU 把这一批一起算一步 ⑤ 写完的释放格子离场,没写完的回到 ②,马上开下一轮 2022 年的 Orca 论文把调度单位从“一个请求”改成“一步”,在 GPT-3 175B 上,同样延迟下吞吐做到了 FasterTransformer 的 36.9 倍 [1]。现在 vLLM 默认就按这一套在排 [2] 想搞投资,相信你看到这儿已经差不多都懂了。想入门推理,我的建议是先把这个循环自己画一遍,再去读压测报告,每个数都能对回其中一步 这里边的水很深,后续我会逐渐跟大家讲解,结合每天的信息以及具体实践,帮大家搭建起科技到投资中间的这座桥梁 出处 [1] Orca: A Distributed Serving System for Transformer-Based Generative Models,OSDI 2022 [2] vLLM 文档,Optimization and Tuning [3] Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve,OSDI 2024 [4] vLLM 文档,vllm bench serve
顯示更多
0
13
192
32
轉發到社區