TwiScan
인기
커뮤니티
계정 컬렉션
로그인
회원가입
English
日本語
한국의
简体中文
繁体中文
가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.
지금 가입
Xiao Tan
@tvytlx
技术专家,从阿里到澳洲到AI创业,随机对 AI 产品、AI 技巧发表感想
가입 March 2017
939
팔로잉 중
13.2K
팬
Xiao Tan
@tvytlx
2026.11.20 01:20
同一个 AI,同一块 H800 显卡,同样的尝试次数。 只换了它写代码用的编程语言。 六门语言里,只有一门能让 AI 写出的 GPU 代码稳定跑赢英伟达官方库,平均速度是官方库的 1.23 倍。 这是今年 SIGOPS ATC 上的一篇论文。 GPU kernel 是让显卡干活的最底层代码,大模型训练和推理快不快,很大程度看它。 英伟达的 cuBLAS、CUTLASS 这些库,是工程师多年手工打磨出来的。 2025 到 2026 年,让 AI 自动调 kernel 的系统冒出来一大堆。 但在这些官方库最拿手的矩阵乘法上,没有一个追得上。 论文找了两个原因。 第一,现有系统都是人先搭好代码骨架,AI 只在里面调参数。 真正决定性能的结构选择,比如线程怎么分工、数据流水线怎么排,AI 碰不到。 有点像请人装修,只许换墙漆,不许动格局。 第二,现在这些语言是给人设计的,AI 用起来很别扭。 每轮要读写的代码很长,token 烧得多。 改一个结构,要在好几处分散的地方同步改,漏一处就错。 配置明明跑不通,编译阶段也不告诉你。 所以他们反过来,专门为 AI 设计了一门语言。 功能拆成互不牵连的小块,加一个特性要改的地方最少,token 用量只有同等表达力语言的六成左右。第一次编译就通过的比例是 85.7%。 编译器会提前剪掉跑不通的配置,报错也整理成 AI 好读的结构化信息。 我最在意的是两个发现。 一个是,AI 的突破主要来自它自己摸索出了更好的代码结构,单靠调参数到不了这个水平。 另一个是,换成能力中等的模型,别的语言明显撑不住,Triton 一次编译通过率 65.8%,这门语言还有 82.3%。 我觉得这件事比 GPU 大。 我们手里的代码库、文档、工作流程,几乎都是照着人的习惯搭的。 人怕记不住,AI 怕的是上下文太长、改一处牵动好几处、错了没人及时告诉它。 很多人在等下一个更强的模型。 这篇论文给了另一个方向:把环境改得对 AI 顺手,同一个模型能走得更远,中等模型也没那么容易掉链子。 不过这是作者自己设计的语言、自己做的对比,测的主要是矩阵乘法这类计算,用的是 95 个真实生产场景里的尺寸。换别的算子、别的显卡,还得再看。 我打开自己的项目看了一眼,改一个功能要动七八个文件。 突然有点理解 AI 每次说“抱歉,我漏改了一处”的时候是什么心情了。
더 보기
0
0
3
7
0
커뮤니티로 전달
인기 있는 사용자
オリコンニュース
@oricon
2M 팬
ツイッター速報〜BreakingNews
@tweetsoku1
259.7K 팬
TVer新着
@TVer_info
101.9K 팬
空空道人
@Kongkongda5882
41.4K 팬
New York Post
@nypost
4.3M 팬
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K 팬
Bloomberg
@business
10.5M 팬
吴说区块链
@wublockchain12
182.3K 팬
中國新聞社
@CNS1952
550.2K 팬
モデルプレス
@modelpress
2.1M 팬
MANTANWEB/毎日キレイ
@mantanweb
68.6K 팬
billboard
@billboard
16.8M 팬
First Squawk
@FirstSquawk
579.8K 팬
Reuters
@Reuters
26.4M 팬
WangNextDoor
@WangNextDoor2
111.1K 팬