Transformerの「層方向」にも記憶を持たせたら？残差接続を回帰問題として捉え直した論文です。 タイトル: Depth Memory URL: 残差・Attention Residuals・Hyper-Connectionsを「メモリへのRead/Write」で統一し、層を超えて情報を蓄える固定サイズのメモリ LDM（Linear Depth Memory）を提案しています。 注目ポイントは3つです。 🧮 深さ方向の回帰として厳密に解く 各層の出力をキーと値の観測とみなし、忘却係数つきの重み付き最小二乗を再帰的最小二乗法（RLS）で解きます。線形注意の外積更新はその近似にすぎない、という整理が鮮やかです。 ⚡ 実用コストに落とすGPU実装 State unwindingで前の層の状態を小さな保存情報から復元し、Windowed writesで書き込みをまとめます。CuTeカーネルでB200上、Full AttnResより高速、Block AttnResとも同等水準です。 📈 400Mと1.5Bで一貫して改善 1.5BのLAMBADA perplexityはPreLNの10.49に対しLDMは8.42。パラメータ増は約1%で、深くするほど性能が伸び続けました。 残差ストリームを外すと大きく悪化するなど、「足し算の道」を残す大切さも見えます。 #Transformer# #LLM#

MoEとループ型Transformer、2つの軸を1つのスケーリング則で語れるか？Metaの論文です。 タイトル: Scaling Laws for Looped Mixture of Experts URL: 🔁 概要 重みを繰り返し使うループ（再帰）と、エキスパートを疎に使うMoEを同時に扱う「Loop Scaling Laws」を提案しています。 ❓ 解決する課題 従来の法則は2軸を別々に扱い、ループの利得を上限なく増えるものとして表していました。実際は再帰の利得は逓減し、エキスパートが多いほど長く効き続けます。 📐 提案手法 実効パラメータ数を Neff(R) = N + κ₁·Nloop·(1 − e^(−(R−1)/κ₂)) と有界にし、係数をアクティブ比 m に応じて m^(−θ) 倍に。計算量やメモリの予算から、最適な再帰回数とエキスパート数も導けます。 📊 実験結果 ・R=16など未知の条件で誤差が最小（密モデルでRMSE 0.0092） ・約5×10²⁰ FLOPsで、E≥8の0.3B MoEが1.0B密モデルを上回る ・約1.5×10²² FLOPsで、0.3B active/1.3B totalのLoopMoEはR=4〜5でBBH 31.5〜31.8、GSM8K 41.5〜41.2。0.6B active/2.9B total MoEの29.8と42.9にほぼ並ぶ ・ただし総合スコアは下回り、推論計算量も増えます #ScalingLaws# #MoE#

再帰構造のTransformerが生成する「途中経過」、実はそのまま捨てられていました。これをデコード時にただで活用する手法が登場です。 タイトル: Decoding Looped Transformers Better for (Almost) Free URL: 📝 概要 共有ブロックを繰り返し実行することでパラメータ効率を高める「ループ型Transformer」向けに、学習フリーのコントラスティブ・デコーディング手法LoopCDを提案。補助モデルも再学習も不要です。 ❗ 解決する課題 既存のデコード手法は、ループの途中段階の隠れ状態を捨てて最終予測だけを使っていました。反復を通じて自然に生まれる「弱い予測→強い予測」という整合したペアの情報が無駄になっていたのです。 🛠️ 方法論・提案手法 出力層の後でコントラストを取るLoopCD-Logits（出力パスを1回追加）と、coda層の前でコントラストを取り追加コストがほぼゼロのLoopCD-Hiddenの2種類を用意。初回ループと最終ループの差分を誘導強度ωで拡張し、モデルが不確実な場面ほど強く誘導する適応的な設定も可能です。 📊 実験結果 Ouro-2.6B-ThinkingのAIME 2024でpass@1が61.88%→73.33%に向上。HuginnのHumanEvalも22.56%→31.71%に改善しました。反復回数を半分にしてLoopCDを使っても元の精度を維持・上回り、フォワードFLOPsを22.5〜48.2%削減できています。 🏢 ユースケース Ouro・Huginn・Parcaeなど既存のループ型Transformerへそのまま適用でき、追加学習なしで推論コストを抑えながら推論性能を底上げできます。 #Transformer# #デコーディング#