きしだൠ(K1S)
@kis
楽しく仲よく前にいく
가입 May 2007
20.6K 팔로잉 중 26.3K 팬
やった！
DeepSeek-V4.1-FlashがEncoder-Decoderと呼んでいる後半層KV近似の仕組みをQwen3-8Bに適用して、プレフィル時間半分、出力同様というのができた！
つまりこの仕組みは、既存のモデルでも、モデル自体をいじらず近似モデルを追加してあげれば、プレフィル時間を半分にすることができる。
더 보기
