cv usk(@cv_usk):MoEとループ型Transformer、2つの軸を1つのスケーリング則で語れるか？Metaの論文です。タイトル: Scaling Laws for Looped Mixture of Experts URL: https://t.co/fdG4fWsiMp 🔁 概要重みを繰り返し使うループ（再帰）と、エキスパートを疎に使うMoEを同時に扱う「Loop Scaling Laws」を提案しています。 ❓ 解決する課題従来の法則は2軸を別々に扱い、ループの利得を上限なく増えるものとして表していました。実際は再帰の利得は逓減し、エキスパートが多いほど長く効き続けます。 📐 提案手法実効パラメータ数を Neff(R) = N + κ₁·Nloop·(1 − e^(−(R−1)/κ₂)) と有界にし、係数をアクティブ比 m に応じて m^(−θ) 倍に。計算量やメモリの予算から、最適な再帰回数とエキスパート数も導けます。 📊 実験結果・R=16など未知の条件で誤差が最小（密モデルでRMSE 0.0092）・約5×10²⁰ FLOPsで、E≥8の0.3B MoEが1.0B密モデルを上回る・約1.5×10²² FLOPsで、0.3B active/1.3B totalのLoopMoEはR=4〜5でBBH 31.5〜31.8、GSM8K 41.5〜41.2。0.6B active/2.9B total MoEの29.8と42.9にほぼ並ぶ・ただし総合スコアは下回り、推論計算量も増えます #ScalingLaws #MoE

2026.10.29 06:03

MoEとループ型Transformer、2つの軸を1つのスケーリング則で語れるか？Metaの論文です。タイトル: Scaling Laws for Looped Mixture of Experts URL: 🔁 概要重みを繰り返し使うループ（再帰）と、エキスパートを疎に使うMoEを同時に扱う「Loop Scaling Laws」を提案しています。 ❓ 解決する課題従来の法則は2軸を別々に扱い、ループの利得を上限なく増えるものとして表していました。実際は再帰の利得は逓減し、エキスパートが多いほど長く効き続けます。 📐 提案手法実効パラメータ数を Neff(R) = N + κ₁·Nloop·(1 − e^(−(R−1)/κ₂)) と有界にし、係数をアクティブ比 m に応じて m^(−θ) 倍に。計算量やメモリの予算から、最適な再帰回数とエキスパート数も導けます。 📊 実験結果・R=16など未知の条件で誤差が最小（密モデルでRMSE 0.0092）・約5×10²⁰ FLOPsで、E≥8の0.3B MoEが1.0B密モデルを上回る・約1.5×10²² FLOPsで、0.3B active/1.3B totalのLoopMoEはR=4〜5でBBH 31.5〜31.8、GSM8K 41.5〜41.2。0.6B active/2.9B total MoEの29.8と42.9にほぼ並ぶ・ただし総合スコアは下回り、推論計算量も増えます #ScalingLaws# #MoE#

커뮤니티로 전달