TwiScan
Hot
Communities
Account collections
Login
Register
English
日本語
한국의
简体中文
繁体中文
Register and share your invite link to earn from video plays and referrals.
Register now
Xiao Tan
@tvytlx
技术专家,从阿里到澳洲到AI创业,随机对 AI 产品、AI 技巧发表感想
Joined March 2017
939
Following
13.2K
Followers
Xiao Tan
@tvytlx
2026.11.20 01:20
同一个 AI,同一块 H800 显卡,同样的尝试次数。 只换了它写代码用的编程语言。 六门语言里,只有一门能让 AI 写出的 GPU 代码稳定跑赢英伟达官方库,平均速度是官方库的 1.23 倍。 这是今年 SIGOPS ATC 上的一篇论文。 GPU kernel 是让显卡干活的最底层代码,大模型训练和推理快不快,很大程度看它。 英伟达的 cuBLAS、CUTLASS 这些库,是工程师多年手工打磨出来的。 2025 到 2026 年,让 AI 自动调 kernel 的系统冒出来一大堆。 但在这些官方库最拿手的矩阵乘法上,没有一个追得上。 论文找了两个原因。 第一,现有系统都是人先搭好代码骨架,AI 只在里面调参数。 真正决定性能的结构选择,比如线程怎么分工、数据流水线怎么排,AI 碰不到。 有点像请人装修,只许换墙漆,不许动格局。 第二,现在这些语言是给人设计的,AI 用起来很别扭。 每轮要读写的代码很长,token 烧得多。 改一个结构,要在好几处分散的地方同步改,漏一处就错。 配置明明跑不通,编译阶段也不告诉你。 所以他们反过来,专门为 AI 设计了一门语言。 功能拆成互不牵连的小块,加一个特性要改的地方最少,token 用量只有同等表达力语言的六成左右。第一次编译就通过的比例是 85.7%。 编译器会提前剪掉跑不通的配置,报错也整理成 AI 好读的结构化信息。 我最在意的是两个发现。 一个是,AI 的突破主要来自它自己摸索出了更好的代码结构,单靠调参数到不了这个水平。 另一个是,换成能力中等的模型,别的语言明显撑不住,Triton 一次编译通过率 65.8%,这门语言还有 82.3%。 我觉得这件事比 GPU 大。 我们手里的代码库、文档、工作流程,几乎都是照着人的习惯搭的。 人怕记不住,AI 怕的是上下文太长、改一处牵动好几处、错了没人及时告诉它。 很多人在等下一个更强的模型。 这篇论文给了另一个方向:把环境改得对 AI 顺手,同一个模型能走得更远,中等模型也没那么容易掉链子。 不过这是作者自己设计的语言、自己做的对比,测的主要是矩阵乘法这类计算,用的是 95 个真实生产场景里的尺寸。换别的算子、别的显卡,还得再看。 我打开自己的项目看了一眼,改一个功能要动七八个文件。 突然有点理解 AI 每次说“抱歉,我漏改了一处”的时候是什么心情了。
Show more
0
0
3
7
0
Forward to community
Most Popular Users
Tibo
@thsottiaux
1M Followers
FinancialJuice
@financialjuice
959.3K Followers
Binance Wallet
@BinanceWallet
2.8M Followers
First Squawk
@FirstSquawk
579.8K Followers
Binance
@binance
16.1M Followers
LiveSquawk
@LiveSquawk
504.2K Followers
Serenity
@aleabitoreddit
1.1M Followers
ClaudeDevs
@ClaudeDevs
834.7K Followers
CNBC
@CNBC
6.3M Followers
Seeking Alpha
@SeekingAlpha
348.7K Followers
Boris Cherny
@bcherny
641.8K Followers
TheStreet
@TheStreet
1.2M Followers
The Wall Street Journal
@WSJ
22.3M Followers
Thariq
@trq212
405.5K Followers
New York Post
@nypost
4.3M Followers