きしだൠ(K1S)
@kis
楽しく仲よく前にいく
参加 May 2007
20.6K フォロー中 26.3K ファン
やった！
DeepSeek-V4.1-FlashがEncoder-Decoderと呼んでいる後半層KV近似の仕組みをQwen3-8Bに適用して、プレフィル時間半分、出力同様というのができた！
つまりこの仕組みは、既存のモデルでも、モデル自体をいじらず近似モデルを追加してあげれば、プレフィル時間を半分にすることができる。
もっと見る
