きしだൠ(K1S)
@kis
楽しく仲よく前にいく
加入 May 2007
20.6K 正在关注 26.3K 粉丝
やった！
DeepSeek-V4.1-FlashがEncoder-Decoderと呼んでいる後半層KV近似の仕組みをQwen3-8Bに適用して、プレフィル時間半分、出力同様というのができた！
つまりこの仕組みは、既存のモデルでも、モデル自体をいじらず近似モデルを追加してあげれば、プレフィル時間を半分にすることができる。
显示更多
