当前模型已经到上限了吗？可能还没有
让模型自己 thinking 这个事从 o1 开始我就不太信，考虑到现实情况，更多应该是当时的 OpenAI 需要向外界 claim 自己在模型上还可以走的很远，所以要做这个很容易让外人理解的 thinking 的输出结构
但抛开这样的原因，为什么模型要用 nature language 的形式来 thinking，而不是在 latent space thinking结束之后转成 nature language 呢
如果考虑到信息传递效率和失真率，都是 latent space 更有优势。自然语言是低带宽、线性、离散化的表达；而 latent representation 可以更高密度地保存模糊关系、多个候选路径和中间状态。很多推理过程也许根本不需要被翻译成人类语言，只有最终结论和必要解释需要自然语言化。甚至以后所谓的 Agent 越来越多后，Agent 之间的建联为什么要用自然语言，而不是隐空间自己的语言，也就是所谓的 AI 的语言呢？
Text CoT 更多的好处是在 nature language 空间做训练容易得到监督数据，而 latent space是没有的
所以我倾向于认为，text CoT 更像是当前阶段的工程折中：它容易构造监督数据，容易做过程监督，容易被 verifier/reward model 评估，也容易被投资人、用户和媒体理解。
有监督信号的场景就可以 scale，但这不是终点
或许一个新的方向可以叫做 LLP，latent language processing
もっと見る
