karminski-牙医
@karminski3
A coder, road bike rider, server fortune teller, electronic waste collector, co-founder of KCORES, ex-director at IllaSoft, KingsoftOffice, Juejin.
Joined December 2018
1.5K Following 37.6K Followers
本质上草稿模型生成的高接受率的token往往都是信息熵比较低的，比如标点符号，助词，代码的容易补全的语法等。但是这些计算成本在大模型中是不变的。所以这部分一旦被接受，不会降智但能提升性能。而真正决定prompt质量的那些接受率是特别低的。所以这也是DSpark聪明的一点，它还后置了一个置信度调度器。
Show more
@karminski3 牙医老师，我有一个问题：既然 DSpark 是类似于 MTP 的预测技术（依旧是类似于草稿模型的思路），那么小模型逆合的输出应该是不如大模型自身 decode 的，为什么说不会降智呢？（或者说....实际上是这样对性能影响较小
Show more
