cv usk(@cv_usk):パラメータを増やさずに、MoEのエキスパートの組み合わせを約18倍に増やせるとしたら？タイトル: MoRE: Mixture of Reused Experts URL: https://t.co/2vx5RGJZCj ❓ MoREとは何ですか？隣り合う層でエキスパートのプールを共有するMoEです。再利用係数R=2なら、2層で2N個のプールを共有し、物理パラメータは標準MoEと同じです。 💡 何が嬉しいのですか？ N=32、K=4のとき、選べる組み合わせは35,960通りから635,376通りへ約18倍に増えます。連続する層で同じエキスパートを使うことも可能になります。 ❓ 実装は難しいですか？重み共有と、層ごとの深さ埋め込み1つだけです。ルーターは層ごとに別で、独自の正規化や安定化の仕組みも不要と報告されています。 ❓ 効果はありますか？ 1.15B規模の検証perplexityは、DeepSeek 11.88に対しMoRE 11.75。6ベンチマーク平均の精度は47.05から48.12に上がりました。SonicMoEではスループットも約96%を保ちます。 💡 注意点は？検証は1.15Bまで、学習は約65.5億トークンです。100B超での挙動は未検証で、再利用率もランダムの約2倍にとどまります。 #MoE #LLM

2026.10.30 09:13

パラメータを増やさずに、MoEのエキスパートの組み合わせを約18倍に増やせるとしたら？タイトル: MoRE: Mixture of Reused Experts URL: ❓ MoREとは何ですか？隣り合う層でエキスパートのプールを共有するMoEです。再利用係数R=2なら、2層で2N個のプールを共有し、物理パラメータは標準MoEと同じです。 💡 何が嬉しいのですか？ N=32、K=4のとき、選べる組み合わせは35,960通りから635,376通りへ約18倍に増えます。連続する層で同じエキスパートを使うことも可能になります。 ❓ 実装は難しいですか？重み共有と、層ごとの深さ埋め込み1つだけです。ルーターは層ごとに別で、独自の正規化や安定化の仕組みも不要と報告されています。 ❓ 効果はありますか？ 1.15B規模の検証perplexityは、DeepSeek 11.88に対しMoRE 11.75。6ベンチマーク平均の精度は47.05から48.12に上がりました。SonicMoEではスループットも約96%を保ちます。 💡 注意点は？検証は1.15Bまで、学習は約65.5億トークンです。100B超での挙動は未検証で、再利用率もランダムの約2倍にとどまります。 #MoE# #LLM#