登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 MOE絵本雑貨店
MOE絵本雑貨店 コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
MOE絵本雑貨店 を含む検索結果
明日からの #セッション# 出演モデル紹介🩵 8/4(火)「彼シャツDay」 璃音(@rior_05) 阿久津こてつ(@kotenanoda4) 佐藤莉依(@25rii25_) 壇あやこ(@ayako_dan_) 天音鈴菜(@suzuna_cherry) 夜月しおん(@nightpurple1227) 蒼井ると(@ruto_aoi) 雪餅羽もえ(@moe_moechan121) 川野笑菜(@irotori_ena) 桜都みみあ(@miMia_0ttt0) りみ(@rimirimi_ru) 陽乃にこ(@nico_hinaten) 夏加ゆりえ(@y_u_r_i_e_28) ⇢ 8/5(水)「animal」 花咲楓香(@Hanasaki__Fuka) 仲村まひろ(@mahironakamura) 立花りんか(@rinka_tcbn) 梅田桃子(@umeda_momoko) 胡蝶らん(@KochoENFP) 日和なの(@0u0nano) 山本乃愛(@nxoxas_ark) 神坂めぐ(@megmeg_LUSH) なく(@079_en) 無糖るな(@mutou_runa) 愛宮日和(@mamimarupi) 朱星ゆずな(@akahoshiyuzuna) 汐奈もあ(@Secret_moa_) ちらりな(@chilla_rina) ⇢ 8/6(木)「ほろ酔いおうちデート」 璃音(@rior_05) 清宮みいな(@miinyaaa23) 峰尾こずえ(@kozurin69) 千歳ゆず(@yuzu_sensai) 詩織(@58shio58) 高田ゆうき(@yuki_badtz_maru) 中島朱絵(@ayae_nakashima) 葉乃瑞月(@hano_Phonitune) Mimu(@wSGxmdhv0nGllK1) 春日野珠理(@ReMIND_juri) 岸岡杏奈(@kishiokaanna) 矢沢めい(@mei_yzw) 皆代(@genkiminayo) ⇢ #フレッシュ撮影会#
もっと見る
MOEさんとのコラボ楽しかったafter LIVE配信 @YouTubeより
MOE(月刊モエ)の12月号が入荷しています。 「みんな大好き!猫の絵本」です。
MoEとループ型Transformer、2つの軸を1つのスケーリング則で語れるか?Metaの論文です。 タイトル: Scaling Laws for Looped Mixture of Experts URL: 🔁 概要 重みを繰り返し使うループ(再帰)と、エキスパートを疎に使うMoEを同時に扱う「Loop Scaling Laws」を提案しています。 ❓ 解決する課題 従来の法則は2軸を別々に扱い、ループの利得を上限なく増えるものとして表していました。実際は再帰の利得は逓減し、エキスパートが多いほど長く効き続けます。 📐 提案手法 実効パラメータ数を Neff(R) = N + κ₁·Nloop·(1 − e^(−(R−1)/κ₂)) と有界にし、係数をアクティブ比 m に応じて m^(−θ) 倍に。計算量やメモリの予算から、最適な再帰回数とエキスパート数も導けます。 📊 実験結果 ・R=16など未知の条件で誤差が最小(密モデルでRMSE 0.0092) ・約5×10²⁰ FLOPsで、E≥8の0.3B MoEが1.0B密モデルを上回る ・約1.5×10²² FLOPsで、0.3B active/1.3B totalのLoopMoEはR=4〜5でBBH 31.5〜31.8、GSM8K 41.5〜41.2。0.6B active/2.9B total MoEの29.8と42.9にほぼ並ぶ ・ただし総合スコアは下回り、推論計算量も増えます #ScalingLaws# #MoE#
もっと見る
📖#MOE 12月号入荷してます!📖# 特集は、みんな大好き!猫の絵本📙🐱 付録に #ヒグチユウコ# かわいい形の猫便箋✉ 11/2に発売された画集「WONDER」と併せて購入はいかがでしょうか! #白泉社#
もっと見る
🧮 MoEのルーター、なんとなく学習させていませんか?「ルーター行を専門家行列の主特異方向に揃えるべき」という、数学的に裏づけられた設計原理が提案されました。 タイトル: Redesign Mixture-of-Experts Routers with Manifold Power Iteration URL: 📝 概要 MoEは入力ごとに一部の専門家だけを使う効率的な仕組みで、どの専門家を使うかを決めるのがルーターです。本論文は、ルーターの各行を対応する専門家行列の主特異方向に揃えることで、トークンと専門家の親和性をより良く表現できると主張します。 ❓ 解決する課題 ルーターの各行は「専門家の代理ベクトル」として類似度を計算しますが、その代理ベクトルをどう設計すべきかという原理的な指針がこれまでありませんでした。専門家の情報を代表ベクトルへ凝縮する明確な原則が欠けていたのです。 💡 方法論と提案手法 ・提案手法Manifold Power Iteration(MPI)は「Power-then-Retract(べき乗してから引き戻す)」というパラダイムを採用します ・ルーター重みにべき乗反復を行い、主特異方向へ収束させます ・ノルム制約を課すリトラクション操作で、計算効率と学習の安定性を両立します ・ルーター行が主特異方向へ収束することの理論的な証明も与えています 🎯 ユースケース 大規模MoE-LLMのルーティング設計に、経験則ではなく原理に基づく指針を提供します。専門家の利用効率(特定専門家への偏りなど)を改善したい場面に効きそうです。 📊 実験結果 ・1B〜11BパラメータのスケールにわたってMoEモデルを事前学習し、整合が有効性を高めることを検証しました ・主特異方向への整合により、専門家の活性化判断がより効果的になることを示しています MoEが大規模LLMの標準になりつつある中で、ルーティングの「なぜそう設計するか」に答える基礎的な貢献です。 #MoE# #LLM#
もっと見る