가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.

Xiao Tan
@tvytlx
技术专家,从阿里到澳洲到AI创业,随机对 AI 产品、AI 技巧发表感想
가입 March 2017
939 팔로잉 중    13.2K 팬
同一个 AI,同一块 H800 显卡,同样的尝试次数。 只换了它写代码用的编程语言。 六门语言里,只有一门能让 AI 写出的 GPU 代码稳定跑赢英伟达官方库,平均速度是官方库的 1.23 倍。 这是今年 SIGOPS ATC 上的一篇论文。 GPU kernel 是让显卡干活的最底层代码,大模型训练和推理快不快,很大程度看它。 英伟达的 cuBLAS、CUTLASS 这些库,是工程师多年手工打磨出来的。 2025 到 2026 年,让 AI 自动调 kernel 的系统冒出来一大堆。 但在这些官方库最拿手的矩阵乘法上,没有一个追得上。 论文找了两个原因。 第一,现有系统都是人先搭好代码骨架,AI 只在里面调参数。 真正决定性能的结构选择,比如线程怎么分工、数据流水线怎么排,AI 碰不到。 有点像请人装修,只许换墙漆,不许动格局。 第二,现在这些语言是给人设计的,AI 用起来很别扭。 每轮要读写的代码很长,token 烧得多。 改一个结构,要在好几处分散的地方同步改,漏一处就错。 配置明明跑不通,编译阶段也不告诉你。 所以他们反过来,专门为 AI 设计了一门语言。 功能拆成互不牵连的小块,加一个特性要改的地方最少,token 用量只有同等表达力语言的六成左右。第一次编译就通过的比例是 85.7%。 编译器会提前剪掉跑不通的配置,报错也整理成 AI 好读的结构化信息。 我最在意的是两个发现。 一个是,AI 的突破主要来自它自己摸索出了更好的代码结构,单靠调参数到不了这个水平。 另一个是,换成能力中等的模型,别的语言明显撑不住,Triton 一次编译通过率 65.8%,这门语言还有 82.3%。 我觉得这件事比 GPU 大。 我们手里的代码库、文档、工作流程,几乎都是照着人的习惯搭的。 人怕记不住,AI 怕的是上下文太长、改一处牵动好几处、错了没人及时告诉它。 很多人在等下一个更强的模型。 这篇论文给了另一个方向:把环境改得对 AI 顺手,同一个模型能走得更远,中等模型也没那么容易掉链子。 不过这是作者自己设计的语言、自己做的对比,测的主要是矩阵乘法这类计算,用的是 95 个真实生产场景里的尺寸。换别的算子、别的显卡,还得再看。 我打开自己的项目看了一眼,改一个功能要动七八个文件。 突然有点理解 AI 每次说“抱歉,我漏改了一处”的时候是什么心情了。
더 보기