基于 Transformer 架构的 LLM 最大的问题就是没有时间感，我觉得这是主观智能甚至是意识到重要部分，时间的连续感知和记忆的先后形成了“自我”！每次涉及到Agentic 任务我都得让模型自己使用 tool 确定操作时间，别让它靠幻觉脑补😂 不知道我这样对不对？

把LLM Transformer的思想放进量化会发生什么？ 这个可能是我今年对我启发最深的论文 Artificial Intelligence Pricing Model (AIPM) 用 transformer 的 attention（注意力）机制实现跨资产信息共享（cross-asset information sharing），同时引入非线性。这样模型能更灵活地利用条件信息，捕捉资产之间的动态关系 very interesting read

想搞懂 Transformer 到底怎么运转的，翻教程不是一行代码调完接口，就是直接甩来 40 页论文。 how-to-train-your-gpt 是一本 12 章、7500 多行的教材，带着从零写出一个 LLaMA 3 那套架构的语言模型。 分词器、嵌入层、注意力、训练循环、推理引擎，每一部分都自己动手写，每行代码都注了是什么和为什么。 GitHub： 另配 28 篇专题拆细节，RoPE 怎么用旋转表达相对位置、KV 缓存省在哪、混合精度是怎么回事，都单独讲。 还有两篇走查，跟着一句话从进模型到出结果走一遍，中间每一步的数字都摆出来。 最后能训出一个 151M 参数的模型，配了 Colab 笔记本，不用自己折腾环境。 作者在开头写了句实话，说做这个是因为自己一直没吃透注意力那部分，边学边写。 学习需要一点 Python 基础，微积分和线性代数这些不用。在注意力那一章卡住过的朋友，可以从这份重新走一遍。

看完 Transformer 论文和科普视频，很多人还是不知道 GPT 训练时到底在跑什么代码。 这个项目从零实现了一个现代LLM，注意力机制、位置编码、LayerNorm、残差连接、训练循环、学习率调度，每个模块独立成文件，每一行代码都配了注释说明原理和意图。学完不是会调包，而是真正理解矩阵层面在发生什么。 它适合想深入 LLM原理的初学者，或者实践经验有余但底层知识有缺口的开发者，把"大概懂"进一步推进到"每一行都懂"。

特斯拉AI负责人Ashok Elluswamy在社交平台提出Transformer可以完成一切任务。他主管FSD自动驾驶与人形机器人Optimus的算法研发，力推端到端基础模型路线，依托Transformer架构，用单一网络处理多模态输入并直接输出控制指令，打通自动驾驶和机器人两大场景。 该观点引发行业热议，既是特斯拉技术路线的表态，也代表具身智能赛道对Transformer潜力的高度押注。

再说一个观察。 diffusion transformer生成视频的价值没有那么大，因为爆炸式传播效应是10000，商业转化率是0.0001，大家都知道是AI生成出来的短剧，只当乐子看，没有信念感和粘性。 相反现在真正急缺的，是精细剪片子的agent。 自媒体的内容是自己，价值观是自己，内核和IP全是自己，是自己的资产 ，大家看到真人生成的视频，才会对这种IP有信念感，有强烈的粘性。 所有头部自媒体尤其是访谈类、长视频、娱乐向、知识向的自媒体，最核心的痛点就是剪视频，剪视频包括字幕、粗剪、精简、后期、审核等等环节，耗费的时间可能是录制的10~500倍工时。 恰恰剪视频是生死攸关的大事。 几乎所有头部自媒体都在告诉你，拍视频和选材可以雇人或者找工作室的同事帮忙选——唯独很多顶流自媒体的剪视频工作，必须由创始人亲自操刀，剪视频完完全全是二次创作，而且是一件极其内耗、极其浪费时间、极其枯燥无聊、个人要求极高、保持一致风格，且完全无法让其他人接手的工作。 比如大物是也，一期节目录一个小时，但是剪视频需要发到一个群里十几个人审核，三五个人剪辑，经过五六轮剪辑才能发布出来，大物本人日常就是熬夜剪剪剪，抽出一切碎片化时间剪视频。 比如贤宝宝，曾经表示剪视频太内耗太浪费时间了，找了一个剪辑磨合了大半年，发现完全无法接手，效果和风格差异过大，最终还是自己一条条剪辑，结果又是他妈累死。 比如赖导，每个月开开心心地玩一周，然后陷入非常痛苦枯燥无聊的三周亲自剪辑，只为了剪出电影品质的旅游纪录片。 能全自动剪辑视频、做后期、审核这件事，简直是至关重要的一项工作，如果你但凡在任何一个视频平台达到过10万粉级别的成就，你发布过50条以上的视频，你敏锐嗅探观众对于不同风格和内容的精确反馈以及平台推荐算法的增长，你应该完全明白我在讲什么事情。 @tangjinzhou 来，你来想想办法。

说到“词元”的来历，最关键的是理解 Transformer 模型。Transformer 模型本质上是一种用于描述概率转移的数学结构。 什么是概率转移？ 简单来说，就是我们在输入上一个字并预测下一个字时，它们之间存在着特定的概率关系。例如，“父”字后面接“亲”、“母”或“兄”的概率非常高，但如果接“鱼”、“猫”、“狗”，概率就会变得极低。我们可以通过这种概率转移机制来模拟人类语言。不过，单纯依靠低阶的概率转移很难得到有意义的结果。只有当我们把人类所有有价值的语言作为上下文背景，进行概率统计计算并构建起高维矩阵模型，再结合多头注意力机制（Multi-Head Attention）去捕获长距离的上下文依赖时，模型才能够输出逻辑连贯、甚至富有智慧的内容。 在这一计算过程中，我们把高维连续向量空间与离散输入输出序列之间的最小离散映射单位，定义为一个 Token。 由于 Transformer 模型不光是可以用来描述语言，所有的离散化之后的以一定概率进行转移的模型都可以进行描述。比如说，我们把图像分成一系列的色块，这些色块之间有意义的转移就会构成特定的图像，这个也是 Transformer，再比如说，我们还可以用 Transformer 来描述机器人的一系列动作，一系列的空间映射关节的活动。 一句话，Token 绝不仅仅是用来描述语言的。 以具身智能模型为例，其动作空间同样被进行了离散化处理。当我们控制机器人去完成“拿起一支笔”或“拿起一个茶杯”的动作时，并不需要过度纠结中间每一个微观动作过渡得有多么精确，只要这一连串动作序列整体执行完毕并达成目标即可，这样反而能让机器人的控制更具灵活性。这和我们表达同样的意思可以用不同的语句是一个道理。 如果在这些非语言场景中，如果我们依然把 Transformer 处理的各类基本单元都统称为“词元”，在语义上就会产生明显的概念错配，这是完全没有必要的。 在纯文本的自然语言处理中，用“词元”来表达 Token 或许尚可接受；但一旦延伸到多模态和具身智能领域，这种说法就不再适用了。事实上，在通用人工智能（AGI）时代，“词元”这种译法很快就会被淘汰。在这种情况下，如果硬要把一个单纯的术语翻译问题与所谓的“科技话语权”强行联系起来，是会出大问题的。 通过行政命令，让所有的科技工作者，用一种不恰当的说法来进行特定的科技概念的描述。这是一种经不起历史检验的语言污染。最终会损害喜好这样的一些什么搞科技话语权的这样一些人物的历史名声。

发现 Token 的翻译「词元」总用得不太顺，对于不了解 Transformer 的人来说，也很难将其字面意思和「人工智能」联系在一起。不如将 Token 翻译成 「仝（tóng）根」。「仝」字上「人」下「工」，合起来就是「人工」；「根」即最基本的、根源的意思。「仝根」读音和 Token 较像，意思也到位，算是做到了信达雅。并且「仝」比「词元」更有意思些，让人一眼就能联想到人工智能。顺着这个思路，人工智能以后是不是也可以简称 「仝智」？同志们觉得如何？（主要还是因为福建人常被笑把「词元」读成「词云」😂）