🔁 簡単なトークンにも難しいトークンにも同じ計算量を使っている。拡散言語モデルが自己回帰モデルに勝てない原因は、そこにあるという指摘です。 タイトル: ALoDLM: Adaptively Looped Diffusion Language Models URL: 📘 概要 拡散言語モデルの各デノイジングステップに「内側ループ」を入れ、トークンごとに異なる深さで計算を打ち切れるようにした手法です。11ベンチマークの平均で、同規模の拡散モデルだけでなく自己回帰ベースラインも上回りました。 🔥 解決する課題 1回のデノイジングで、予測しやすい位置と計算を要する位置が混在します。しかし標準的な拡散モデルは全マスク位置に同じ固定深度を適用するため、簡単な予測に計算を浪費し、難しい予測には計算が足りません。信頼度ベースの繰り越しも、繰り越したトークンの潜在計算を捨てて次ステップで再計算するため根本解決になりません。 🛠 方法論と提案手法 Transformerを前段・再帰コア・後段に分け、再帰コアを最大4回まわします。 ・予測エントロピーが閾値以下のトークンは確定し、離散埋め込みとして次パスの文脈になります ・未解決のトークンは潜在状態を保持したまま洗練を続けます ・停止確率を累積し、閾値に達したら内側ループを抜けます 確定が文脈を変えるため離脱スケジュールの厳密な総和は不可能で、離脱深度を潜在変数とみなす変分下界と不偏勾配推定で学習します。 📊 実験結果 ・平均スコアは1.7Bで65.5、8Bで80.3。Qwen3の63.8と78.5をいずれも上回りました ・GSM8Kで、同等以上の精度を保ちつつvLLM提供のQwen3-8Bの約2.7倍のスループット ・推論時に離脱閾値を上げるとループ数が1.6から2.34に増え、平均スコアも77.9%から79.1%へ ・難易度ラベルなしで、数値トークンに最も深い計算を割り当てる挙動を自ら学習しました #拡散モデル# #LLM#