きしだൠ(K1S)(@kis):やった！ DeepSeek-V4.1-FlashがEncoder-Decoderと呼んでいる後半層KV近似の仕組みをQwen3-8Bに適用して、プレフィル時間半分、出力同様というのができた！つまりこの仕組みは、既存のモデルでも、モデル自体をいじらず近似モデルを追加してあげれば、プレフィル時間を半分にすることができる。

2026.09.10 23:03

やった！ DeepSeek-V4.1-FlashがEncoder-Decoderと呼んでいる後半層KV近似の仕組みをQwen3-8Bに適用して、プレフィル時間半分、出力同様というのができた！つまりこの仕組みは、既存のモデルでも、モデル自体をいじらず近似モデルを追加してあげれば、プレフィル時間を半分にすることができる。