パラメータを増やさずに、MoEのエキスパートの組み合わせを約18倍に増やせるとしたら?
タイトル: MoRE: Mixture of Reused Experts
URL:
❓ MoREとは何ですか?
隣り合う層でエキスパートのプールを共有するMoEです。再利用係数R=2なら、2層で2N個のプールを共有し、物理パラメータは標準MoEと同じです。
💡 何が嬉しいのですか?
N=32、K=4のとき、選べる組み合わせは35,960通りから635,376通りへ約18倍に増えます。連続する層で同じエキスパートを使うことも可能になります。
❓ 実装は難しいですか?
重み共有と、層ごとの深さ埋め込み1つだけです。ルーターは層ごとに別で、独自の正規化や安定化の仕組みも不要と報告されています。
❓ 効果はありますか?
1.15B規模の検証perplexityは、DeepSeek 11.88に対しMoRE 11.75。6ベンチマーク平均の精度は47.05から48.12に上がりました。SonicMoEではスループットも約96%を保ちます。
💡 注意点は?
検証は1.15Bまで、学習は約65.5億トークンです。100B超での挙動は未検証で、再利用率もランダムの約2倍にとどまります。
#
MoE# #
LLM#