FP4による大規模言語モデルの事前学習について、既存手法を体系的に比較した論文が公開されている。 “What Matters for NVFP4 Training - A Comparative Study of Low-Precision Pretraining Recipes” FP4を使った学習は高速な行列演算や必要なメモリ帯域幅を抑えられる一方、BF16と比較すると精度低下や学習の不安定性が残る。 FP4のE2M1形式では、0、0.5、1、1.5、2、3、4、6と、それらの負の値からなる15種類の数値しか表現できない。ただし、NVFP4では16個の値からなるブロックごとにスケール係数を持ち、それを掛けることで表現範囲を調整する。 今回の論文では、8BのDenseモデルと30B-A3BのMoEモデルを最大1Tトークン学習し、既存のFP4学習手法を比較している。 特に提案するMosaic NVFP4では、以下の工夫を組み合わせている。 ・Forwardでは重みを1次元で量子化し、Backwardでは必要な方向に再量子化する。 ・Backwardの2種類の行列積にRandom Hadamard Transformを適用し、外れ値の影響を軽減する。 ・勾配にはMS-EDEN（後述）を使い、Stochastic Roundingより小さな量子化誤差で不偏性を実現する。 ・その他のテンソルにはFour Over Sixによる適応的なスケール選択を適用し、量子化誤差を削減する。 ・最後の15%の層はBF16のまま維持する。 これらを組み合わせることで、30B-A3Bモデルでは1Tトークン学習後のBF16に対する相対学習損失差を0.81%未満まで縮小し、従来のFP4手法から0.36パーセンテージポイント改善した。 特に厄介なのは、すべての層をFP4にすると、8Bモデルでも300Bトークンを超えたところで学習が発散したことである。また、手法間の優劣は150Bトークンを超えるまで安定せず、短期間の小規模実験だけではFP4学習手法を適切に評価できないことも示された。 ・MS-EDEN 勾配の量子化において、バイアスをゼロに保ちながら量子化誤差の分散を小さくする手法。 個々の値を確率的に丸めるStochastic Roundingとは異なり、まずベクトル全体にRandom Hadamard Transformを適用して値を混合し、FP4に量子化する。その後、補正係数を掛けることで不偏性を回復する。 この補正係数はNVFP4のブロックスケールに組み込まれる。スケールはFP8で格納されるため、補正後のスケールを量子化する際にはStochastic Roundingを使用する。 これにより、各要素を確率的に丸める場合よりも小さな量子化誤差で、不偏な勾配推定を実現できる。 ・Four Over Six FP4のE2M1形式では、表現可能な値の4と6の間に5が存在しないため、この領域で量子化誤差が大きくなりやすい。 通常のスケーリングでは、ブロック内の絶対値の最大値をFP4の6に対応させる。しかし、最大値を4に設定した方が、ブロック全体の量子化誤差が小さくなる場合がある。 Four Over Sixは、ブロックごとに最大値を4に対応させる場合と6に対応させる場合の両方を試し、量子化後の二乗誤差が小さい方を選択する。 コメント ==== FP4は行列積の演算性能を向上させ、必要なメモリ帯域幅も削減できるため有望だが、大規模な事前学習での実績はまだ限られている。 今回の研究でも、かなり学習が進んだ後に発散する現象が確認された。最後の15%の層をBF16に維持することで発散を抑えられ、この条件ではBackwardの量子化手法による性能差もかなり小さくなる。 これは、Backwardの量子化バイアスを抑えるだけでは解決できない問題が残っていることを示している。著者らは量子化による表現精度の問題を示唆しているが、発散の詳しい機構はまだ分かっていない。 学習が進むにつれて小さな数値誤差が蓄積し、学習ダイナミクスが変化する可能性も考えられる。Forward側の表現誤差や、量子化とパラメータ更新の相互作用も重要だと思われる。 これはFP4に限らず、誤差逆伝播法を近似したり、一部を別の計算方式に置き換えたりする手法にも共通する課題である。小規模な実験では問題なく動作していても、モデルを大きくしたり学習を長期間続けたりすると、発散や性能劣化が生じる場合が多い。 深層学習はかなり粗い数値計算でも動作する印象があるが、特に長期間の学習における勾配計算や数値誤差の扱いは、想像以上に繊細である。

🎨 テキストから高精細な画像を生成するモデルを、完全にオープンなレシピだけでゼロから鍛え上げ、トップクラスのモデルに迫る性能を実現しました。 タイトル: LLaDA-Image: Building Strong Image Generators with Fully Open Training Recipes URL: 🖼️ 概要 LLaDA-Imageは、6BパラメータのDiffusion Transformerをゼロから訓練し、dLLMベースの視覚言語理解モジュールと組み合わせた統一的な画像生成・編集モデルです。TwinFlow蒸留により2〜4ステップという少なさで高速推論できるTurbo版もあわせて公開されています。 🧩 解決する課題 高品質な画像生成にはこれまで大量のペア画像テキストデータが必要とされ、キャプション品質のばらつきや、生成と編集を1つのモデルで両立させる難しさが課題でした。 🛠️ 方法論と提案手法 画像のみの事前学習を中心に据え、220Mサンプルのうち90%以上を画像単独データで訓練し、実画像の比率を生成訓練で98%、教師あり微調整でも70%以上に保つ「実データ優位」なレシピを採用しています。長時間の訓練を安定させるパラメータフリーRMSNormや、参照画像をセマンティック・ピクセル両経路で条件付けする編集用アーキテクチャも特徴です。 📊 ユースケース / 実験結果 Qwen-Image-Benchでは英語53.53点・中国語53.38点でオープンソース最高水準のZ-Image Turboを上回り、長文テキストレンダリングを測るCVTG-2Kでも単語精度0.875でトップの成績を収めています。一方でGenEvalの物体計数は0.53にとどまるなど、今後の改善点も明確に示されています。 #画像生成# #DiffusionModel#

#BTS# RECIPE BOOK予約販売スタート！ ARMYのみなさんからのご要望にお応えして、Cake(旧HYBE EDU)からレシピブックが登場いたしました！ 初版特典として、マグネット仕様のBTSミニフォトフレームを付録しております。 詳しくはこちら→

「自分なりの使えるレシピ」を淡々と掲載していく備忘録的連載『USEFUL SPAGHETTI RECIPE』。 漫画家の内田春菊さんが教えてくれた「どかっと作っとくミートソース」の作り方はYouTubeで公開中🍝 記事はこちら！ #popeyeweb# #usefulspaghettirecipe#

バズバズー😊 今回の #バズ英語# は、世界の家庭の味をご紹介！ みんなの懐かしい味ってどんなものかな〜？？ スタジオでは “GRANDMA RECIPE”にも挑戦するよ！🍎 9月29日(火)19:30〜 Don’t miss it！💡 詳しくは👇 #Eテレ# #太田光# #森川葵# #鳥飼玖美子#

🖥 たった9Bのオープンモデルが、ターミナル操作ベンチでClaude Haiku 4.5に迫る。しかもデータもモデルもコードも全公開です。 タイトル：Tmax: A simple recipe for terminal agents URL： ターミナルエージェントのRL学習に、シンプルで再現可能なレシピを与えたAi2/UWの研究です。注目ポイントを3つに絞って紹介します。 🧩 構成的なデータ生成パイプライン ドメイン・スキル・検証器・ペルソナ・難易度など9つの軸の組み合わせでタスクを大量合成し、Gemini-3-ProがDockerfileとユニットテストまで生成します。高コストな品質検証は省き、RL側でpass率0を弾くだけ。結果として従来比2.5倍超・14,600環境のTmax-15Kを安価に構築し、汚染ゼロかつ最も難しいデータになりました。 ⚙️ シンプルなoutcome-only RLレシピ 報酬は「タスク達成したか」だけ。素朴なGRPOは長期エージェントで崩壊するため、logprobの乖離をマスクするDPPO、FP32のLMヘッド、大きなグループサイズ（32）で安定化します。Qwen 3.5 9BをこのレシピでTerminal-Bench 2.0で27%まで引き上げました。 📈 強さと汎化、そして全公開 2B〜27Bの全サイズでQwenベースラインを改善。さらにSWE-Bench Verifiedが44→53.5、AIMEが73→91と非ターミナル評価でも向上し、ハーネスやモデルファミリを越えて汎化します。データ・モデル・コードはGitHubで完全公開。 オープンなターミナルエージェント研究の強力な土台になりそうです。 #ターミナルエージェント# #強化学習#

／ 毎日応募できる！ ガーナ×ONEPIECE キャンペーン第4弾✨ ＼ オリジナルビジュアルスリーブ入りガーナを 毎日50名様にプレゼント🎁 今年の父の日は ガーナ_ONEPIECEと一緒に 「ありがとう」を伝えませんか？😊🍫 ①@ghana_recipeをフォロー ②この投稿をリポストで結果がすぐ届く✉️ 6/21〆