同一个 AI,同一块 H800 显卡,同样的尝试次数。
只换了它写代码用的编程语言。
六门语言里,只有一门能让 AI 写出的 GPU 代码稳定跑赢英伟达官方库,平均速度是官方库的 1.23 倍。
这是今年 SIGOPS ATC 上的一篇论文。
GPU kernel 是让显卡干活的最底层代码,大模型训练和推理快不快,很大程度看它。
英伟达的 cuBLAS、CUTLASS 这些库,是工程师多年手工打磨出来的。
2025 到 2026 年,让 AI 自动调 kernel 的系统冒出来一大堆。
但在这些官方库最拿手的矩阵乘法上,没有一个追得上。
论文找了两个原因。
第一,现有系统都是人先搭好代码骨架,AI 只在里面调参数。
真正决定性能的结构选择,比如线程怎么分工、数据流水线怎么排,AI 碰不到。
有点像请人装修,只许换墙漆,不许动格局。
第二,现在这些语言是给人设计的,AI 用起来很别扭。
每轮要读写的代码很长,token 烧得多。
改一个结构,要在好几处分散的地方同步改,漏一处就错。
配置明明跑不通,编译阶段也不告诉你。
所以他们反过来,专门为 AI 设计了一门语言。
功能拆成互不牵连的小块,加一个特性要改的地方最少,token 用量只有同等表达力语言的六成左右。第一次编译就通过的比例是 85.7%。
编译器会提前剪掉跑不通的配置,报错也整理成 AI 好读的结构化信息。
我最在意的是两个发现。
一个是,AI 的突破主要来自它自己摸索出了更好的代码结构,单靠调参数到不了这个水平。
另一个是,换成能力中等的模型,别的语言明显撑不住,Triton 一次编译通过率 65.8%,这门语言还有 82.3%。
我觉得这件事比 GPU 大。
我们手里的代码库、文档、工作流程,几乎都是照着人的习惯搭的。
人怕记不住,AI 怕的是上下文太长、改一处牵动好几处、错了没人及时告诉它。
很多人在等下一个更强的模型。
这篇论文给了另一个方向:把环境改得对 AI 顺手,同一个模型能走得更远,中等模型也没那么容易掉链子。
不过这是作者自己设计的语言、自己做的对比,测的主要是矩阵乘法这类计算,用的是 95 个真实生产场景里的尺寸。换别的算子、别的显卡,还得再看。
我打开自己的项目看了一眼,改一个功能要动七八个文件。
突然有点理解 AI 每次说“抱歉,我漏改了一处”的时候是什么心情了。
顯示更多