AI最严厉的父亲
@dashen_wang
马斯克研究所合作伙伴 @MuskPapa_x @razzhood
当AGI睁开眼睛的那一刻，人类的存在便失去了所有意义
构架散人。
反编译 / 站群 / 量化 / Agent,二十年自学。
现在只带 Agent 干活,不雇人。
加入 February 2024
731 正在關注 29.1K 粉絲
可能很多人对27B模型没什么概念。
27B听起来好像也没多大啊，现在普通玩家128G内存都开始普及了。
但我讲几个冷知识。
Google训练Gemma 3 27B的时候，预训练数据是14万亿Token。
不是140亿，也不是1400亿。
是14万亿。
训练它的集群用了6144颗TPU v5p。
而27B这个数字，只代表它有大约270亿个参数。
光把BF16原始权重放进内存，大概就是54GB。
32K上下文跑起来，加上KV Cache，大概72.7GB。
注意，这还只是推理。
真正训练的时候还要塞梯度，优化器状态，激活值，各种通信Buffer。
所以你看到一个27B模型只有几十GB，很容易产生一种错觉。
这玩意我电脑都装得下，我是不是也能训练。
完全是两回事。
还有一个更离谱的地方。
14万亿Token是什么概念。
假如一个人一天非常夸张地读10万个Token，而且一天不休息。
读完这些训练数据，大概需要38万年。
而机器要做的也不只是把这些字读一遍。
它要一层一层做矩阵运算，算损失，反向传播，再一点一点修改270亿个参数。
所以我现在越来越觉得，本地能跑27B，甚至70B，是一件非常牛逼的事情。
不是因为我们的电脑已经可以训练它们了。
而是因为人类把一个需要几千颗AI芯片训练出来的东西，压缩，量化，优化之后，居然可以塞进一台桌子下面的小电脑里。
这个过程本身就挺赛博朋克的。
顯示更多
