注册并分享邀请链接,可获得视频播放与邀请奖励。

Xiao Tan
@tvytlx
技术专家,从阿里到澳洲到AI创业,随机对 AI 产品、AI 技巧发表感想
加入 March 2017
939 正在关注    13.2K 粉丝
同一个 AI,同一块 H800 显卡,同样的尝试次数。 只换了它写代码用的编程语言。 六门语言里,只有一门能让 AI 写出的 GPU 代码稳定跑赢英伟达官方库,平均速度是官方库的 1.23 倍。 这是今年 SIGOPS ATC 上的一篇论文。 GPU kernel 是让显卡干活的最底层代码,大模型训练和推理快不快,很大程度看它。 英伟达的 cuBLAS、CUTLASS 这些库,是工程师多年手工打磨出来的。 2025 到 2026 年,让 AI 自动调 kernel 的系统冒出来一大堆。 但在这些官方库最拿手的矩阵乘法上,没有一个追得上。 论文找了两个原因。 第一,现有系统都是人先搭好代码骨架,AI 只在里面调参数。 真正决定性能的结构选择,比如线程怎么分工、数据流水线怎么排,AI 碰不到。 有点像请人装修,只许换墙漆,不许动格局。 第二,现在这些语言是给人设计的,AI 用起来很别扭。 每轮要读写的代码很长,token 烧得多。 改一个结构,要在好几处分散的地方同步改,漏一处就错。 配置明明跑不通,编译阶段也不告诉你。 所以他们反过来,专门为 AI 设计了一门语言。 功能拆成互不牵连的小块,加一个特性要改的地方最少,token 用量只有同等表达力语言的六成左右。第一次编译就通过的比例是 85.7%。 编译器会提前剪掉跑不通的配置,报错也整理成 AI 好读的结构化信息。 我最在意的是两个发现。 一个是,AI 的突破主要来自它自己摸索出了更好的代码结构,单靠调参数到不了这个水平。 另一个是,换成能力中等的模型,别的语言明显撑不住,Triton 一次编译通过率 65.8%,这门语言还有 82.3%。 我觉得这件事比 GPU 大。 我们手里的代码库、文档、工作流程,几乎都是照着人的习惯搭的。 人怕记不住,AI 怕的是上下文太长、改一处牵动好几处、错了没人及时告诉它。 很多人在等下一个更强的模型。 这篇论文给了另一个方向:把环境改得对 AI 顺手,同一个模型能走得更远,中等模型也没那么容易掉链子。 不过这是作者自己设计的语言、自己做的对比,测的主要是矩阵乘法这类计算,用的是 95 个真实生产场景里的尺寸。换别的算子、别的显卡,还得再看。 我打开自己的项目看了一眼,改一个功能要动七八个文件。 突然有点理解 AI 每次说“抱歉,我漏改了一处”的时候是什么心情了。
显示更多