CUDA 的核心理念,是把原本给电子游戏用的并行计算电路,转手交给科学家
不用再靠处理三角形去榨那每秒 10 亿次的浮点运算,整个架构被打开,供更广泛的用途使用
有个说法很传神:你手里是一张游戏显卡,但它带一个开关,轻轻一拨,它就变成了一台超级计算机
顯示更多
Avarok Cybersecurity 开源了 Atlas,一个用 Rust + CUDA 从零写的大模型推理引擎。它不依赖 Python 和 PyTorch,项目方称 Docker 镜像约 2.5GB,冷启动不到 2 分钟,目前主要面向 NVIDIA DGX Spark 的 GB10 平台优化。
官网模型矩阵显示,Atlas 在单台 DGX Spark 上跑 Qwen3.5-35B-A3B 可到约 130 tok/s,跑 Qwen3.6-35B-A3B 约 71 tok/s。Atlas 官网和 Hugging Face 页面称,在同硬件下,Qwen3.5-35B 平均约 111 tok/s、峰值 130 tok/s,vLLM 约 37 至 38 tok/s。
这组「3 倍 vLLM」数据来自项目方公开基准。GitHub README 写明,测试使用的是「法国首都是哪」这类短 prompt,生成上限不超过 30 个 token,temperature 为 0.1。这个口径更接近短请求、低并发、快速响应场景,也正好对应 Atlas 想打的卖点:用更小镜像、更少依赖和更快冷启动,把本地大模型服务变得更轻。
Atlas 现在仍是早期项目,真实生产场景还要看后续长文本、高并发和复杂工具调用测试。GitHub 上已有用户反馈输出质量和工具调用稳定性问题,相关 Issue 截至 2026 年 5 月 11 日仍处于 Open 状态。对开发者来说,它更像一个值得关注的新推理底座,而不是已经能全面替代 vLLM 的成熟方案。
顯示更多
DGX Spark vs Mac M5 Max
128GB 统一内存
4TB SSD
Cuda vs MLX
NVIDIA DGX OS vs Mac OS
MacBook 多了Nano-texture display
但 MacBook 也贵了 6000 NZD
谁是本地 AI 更优解?
我现在 Claude & Codex 都是最贵的 Max 订阅,Claude 感觉不够用。如果能帮我省点订阅费,也算值了
顯示更多
当你要用本地大模型做视频的时候
现在摆在你面前的选择,只有CUDA生态
要么买DGX Spark,要么买N卡
苏妈这次,可能把本地AI的门槛打下来了,但我还是优先选择cuda生态!
AMD的股东们,开始兑现投资的乐趣。在英伟达(NVDA)凭借CUDA生态,统治AI市场的背景下,苏姿丰为AMD塑造了独特的AI叙事:提出AI不仅是GPU的事,而是CPU、GPU、FPGA以及自适应计算的集合。这种“全栈算力”的布局,使AMD成为唯一能在大规模数据中心,提供完整解决方案的公司。作为MIT的电机工程博士,苏姿丰能直接进入实验室检查晶片样片,这种“懂行”的领导风格,让工程师文化重新回归AMD。
顯示更多
大模型现在偏向工具化,很难复刻PC、移动互联网那种双边生态壁垒。过去两波浪潮里,硬件只是阶段性红利,长期赢家都是手握用户和开发者生态的平台。
现在英伟达靠CUDA+GPU卡住算力生态,大模型看似像AI系统,但玩家多、迁移门槛低,生态粘性不足。后续有两种可能:模型端跑出头部靠数据筑墙,或是老牌互联网大厂依托存量应用守住主导权。AI时代的大牛股,核心就看生态话语权落在谁手上。
我看是电力能源落在谁手上谁就有话语权吧,GPU CPU 内存始终扩产是可以做出来的,能源却暂时不是无限的,唯一的无限能源高高在上(太空),短时间只有那个男人才能完全驾驭,懂的都懂!
顯示更多
昨天去香港特地调研了下本地硬件市场,如图所示,9800x3d+5090的整机要将近9万港币,太贵了,除了极少数富哥,没有真实C端用户,几乎拿去做成八卡跑推理,同样是GB202核心,。RTX 509021760 CUDA、32GB,而RTX PRO 6000用更完整的24064 CUDA+96GB GDDR7,PRO 5500系列也用同一颗芯片。不如都把产能给6000,毕竟老黄赚的更多,现在一块6000 17万,所有最近流传出来的5090提前停产的消息可信度很大。或者说持续减产,当然我觉得依旧投资GPU是近几年普通人最好的理财产品!
顯示更多
腾讯花了70亿美金租甲骨文东南亚的AI算力(5年10万片),重点不是芯片性能好坏。核心原因是腾讯现有 AI 基建全搭在英伟达 CUDA 生态上,如果换成昇腾,迁移改造要耗费巨大时间成本。
这次花 70 亿美金签 5 年协议,锁定 10 万片高端芯片,本质是锁定未来几年稳定算力供给。AI 赛道最怕算力卡脖子,一旦算力跟不上,模型迭代直接变慢,这是大厂耗不起的代价。
所以租赁海外算力,是当前环境下的务实选择,优先保证自己 AI 业务迭代节奏不被中断。
顯示更多
DeepSeek 这次开源的工具链,实现了一次编写、多硬件运行,英伟达、昇腾都能跑,打造出硬件中立中间层,试图打破 CUDA 生态壁垒。但要划重点:它并没有直接推翻 CUDA 护城河,反而秀出了 CUDA 硬件的极限潜力。
TileLang 这类 DSL 语言,确实降低了写算子的门槛,可大模型算力优化的瓶颈从来不是语法,而是吃透硬件拓扑。想跑出顶尖性能,带宽、FP8 精度、MoE 通信延迟这些底层功底一样不能少。
真正的亮点,是公开了一套大模型软硬件协同的顶级工程方案。国产芯片最大短板不只是硬件,而是缺少顶级优化参考。这次放出的全套工程细节,给国内厂商指明了优化方向,大幅缩短追赶周期。
顯示更多