cv usk(@cv_usk):LLMの推論は1トークンずつ。この前提を「フロー」で崩す、8Bのフロー言語モデルが登場しました。タイトル: Large Flow Language Models URL: https://t.co/n5f7WxLw9k 🌊 事前学習済みの自己回帰モデルを、ブロック単位のフロー言語モデル Lafa に適応させる研究です。学習トークンは300億未満で、7Bで同等品質のままAR比2.54倍のスループットを達成しました。 ⚡ 注目ポイント1：非同期フローブロック内の各トークンに固有の時刻を持たせ、デノイズの進みをデノイズ損失から学習します。前の位置ほど速く確定する左から右への傾向が、課していないのに自然に現れました。 🧠 注目ポイント2：自己投機的デコード 1ステップのフローで下書きを作り、同じモデルに残したARヘッドが検証します。出力は貪欲ARデコードと一致し、1回の順伝播あたり約2.5〜5トークンを出せます。 🪶 注目ポイント3：少ない学習で品質も上がる Qwen2.5とQwen3を土台に、Dream・LLaDA・Efficient-DLMより18倍以上少ない学習トークンで学習。7Bの平均精度はAR SFTの58.4に対して60.9でした。連続フローが、並列生成の実用的な土台になりうることを示した一本です。 #言語モデル #高速推論

2026.10.29 09:51

LLMの推論は1トークンずつ。この前提を「フロー」で崩す、8Bのフロー言語モデルが登場しました。タイトル: Large Flow Language Models URL: 🌊 事前学習済みの自己回帰モデルを、ブロック単位のフロー言語モデル Lafa に適応させる研究です。学習トークンは300億未満で、7Bで同等品質のままAR比2.54倍のスループットを達成しました。 ⚡ 注目ポイント1：非同期フローブロック内の各トークンに固有の時刻を持たせ、デノイズの進みをデノイズ損失から学習します。前の位置ほど速く確定する左から右への傾向が、課していないのに自然に現れました。 🧠 注目ポイント2：自己投機的デコード 1ステップのフローで下書きを作り、同じモデルに残したARヘッドが検証します。出力は貪欲ARデコードと一致し、1回の順伝播あたり約2.5〜5トークンを出せます。 🪶 注目ポイント3：少ない学習で品質も上がる Qwen2.5とQwen3を土台に、Dream・LLaDA・Efficient-DLMより18倍以上少ない学習トークンで学習。7Bの平均精度はAR SFTの58.4に対して60.9でした。連続フローが、並列生成の実用的な土台になりうることを示した一本です。 #言語モデル# #高速推論#

Forward to community