【Money1】 2026年ハロウィン･中共当局はコスプレ規制を強化 ⇒ 中国ではウルトラマンも連行される。 白ずくめの防疫部隊には「脱げ」と指示されました。

model : 白森さくら ( @x00vestephi ) おはもり〜☀️🌳🌸 ダークなウサギが似合ってたなぁ🐰 白森さくら SOAR撮影会 ポートレート portrait

「Moncage」のOptillusionが作るサバイバルアドベンチャー「果てなき迷宮 Rinthine」 一定期間ごとに姿を変える迷宮が舞台で，あるアイテムを作っておけば，一部の部屋をそのまま残せる。何を手元に残して何を手放すかの判断が重要だ。

mondで匿名メッセージ・質問を募集しています。何でも送ってね！ #mondで質問募集中# こんな質問に回答しています ・こんばんは ・Ｘは更新されているからお元気そうだとはおも… ・悔しくて情けないです！職場の食事会についに…

mondで匿名メッセージ・質問を募集しています。何でも送ってね！ #mondで質問募集中# こんな質問に回答しています ・ドドスコスコスコ、ラブちゅ〜ぅにゅう！！ … ・いつも楽しんごさんに元気もらってます！！ … ・よく春日井にいるとお見受けしますが、その理…

MoEとループ型Transformer、2つの軸を1つのスケーリング則で語れるか？Metaの論文です。 タイトル: Scaling Laws for Looped Mixture of Experts URL: 🔁 概要 重みを繰り返し使うループ（再帰）と、エキスパートを疎に使うMoEを同時に扱う「Loop Scaling Laws」を提案しています。 ❓ 解決する課題 従来の法則は2軸を別々に扱い、ループの利得を上限なく増えるものとして表していました。実際は再帰の利得は逓減し、エキスパートが多いほど長く効き続けます。 📐 提案手法 実効パラメータ数を Neff(R) = N + κ₁·Nloop·(1 − e^(−(R−1)/κ₂)) と有界にし、係数をアクティブ比 m に応じて m^(−θ) 倍に。計算量やメモリの予算から、最適な再帰回数とエキスパート数も導けます。 📊 実験結果 ・R=16など未知の条件で誤差が最小（密モデルでRMSE 0.0092） ・約5×10²⁰ FLOPsで、E≥8の0.3B MoEが1.0B密モデルを上回る ・約1.5×10²² FLOPsで、0.3B active/1.3B totalのLoopMoEはR=4〜5でBBH 31.5〜31.8、GSM8K 41.5〜41.2。0.6B active/2.9B total MoEの29.8と42.9にほぼ並ぶ ・ただし総合スコアは下回り、推論計算量も増えます #ScalingLaws# #MoE#