MoEとループ型Transformer、2つの軸を1つのスケーリング則で語れるか？Metaの論文です。 タイトル: Scaling Laws for Looped Mixture of Experts URL: 🔁 概要 重みを繰り返し使うループ（再帰）と、エキスパートを疎に使うMoEを同時に扱う「Loop Scaling Laws」を提案しています。 ❓ 解決する課題 従来の法則は2軸を別々に扱い、ループの利得を上限なく増えるものとして表していました。実際は再帰の利得は逓減し、エキスパートが多いほど長く効き続けます。 📐 提案手法 実効パラメータ数を Neff(R) = N + κ₁·Nloop·(1 − e^(−(R−1)/κ₂)) と有界にし、係数をアクティブ比 m に応じて m^(−θ) 倍に。計算量やメモリの予算から、最適な再帰回数とエキスパート数も導けます。 📊 実験結果 ・R=16など未知の条件で誤差が最小（密モデルでRMSE 0.0092） ・約5×10²⁰ FLOPsで、E≥8の0.3B MoEが1.0B密モデルを上回る ・約1.5×10²² FLOPsで、0.3B active/1.3B totalのLoopMoEはR=4〜5でBBH 31.5〜31.8、GSM8K 41.5〜41.2。0.6B active/2.9B total MoEの29.8と42.9にほぼ並ぶ ・ただし総合スコアは下回り、推論計算量も増えます #ScalingLaws# #MoE#

【 MOESTA+ TOKYO CONCAFE COLLECTION vol.5】 この度、モエスタフェスvol.5イベントナビゲーターに就任させていただきました。 全国から集う素敵なコンカフェキャスト様・店舗様にお会いできることを楽しみにしています✨

MOESTA＋ TOKYO CONCAFE COLLECTION vol.5 イベントナビゲーターMCのお二人をご紹介します‼️ 当日盛り上げてくださるお二人はこちら‼️ むじょるさん　@mujol_sv チロルさん　＠mmmlmmm2 お楽しみに✨

MOESTA＋ TOKYO CONCAFE COLLECTION vol.5 日時：7/4（土） 1部 14:00〜17:00 2部 18:00〜21:00 参加店舗様出揃いました‼️ チケット情報につきまして画像をよくご覧ください👀 ①プレミアムチケット　5/29〜 発売時間は追ってお知らせいたします。 ②事前一般チケット　6/12〜

@moenakokomi 出遅れました💨🫢💦 ふーひーさんレベルアップおめでとうございます🎉🎊🆙 素敵な1年になりますように☆。.:＊・゜🪄︎︎✨

MOENA Premium Winter✨ 国内ラストイベント 一緒に楽しい時間を過ごすことができて とっても嬉しかったです☺️ 来てくれた皆さん❤️ 本当にありがとうございました🙏🏻❤️

Moena アジアツアー2025 韓国公演チケットが発売されてます🩷 そして...この韓国公演から 新しい浴衣での出演になります🥹✨ 特典会では来て下さったみなさんと 普段よりお話しできるような 準備をしていますので ぜひお時間ある方は来てみて下さい🫰🏻💗 チケットはこちらから🎫