FP4による大規模言語モデルの事前学習について、既存手法を体系的に比較した論文が公開されている。 “What Matters for NVFP4 Training - A Comparative Study of Low-Precision Pretraining Recipes” FP4を使った学習は高速な行列演算や必要なメモリ帯域幅を抑えられる一方、BF16と比較すると精度低下や学習の不安定性が残る。 FP4のE2M1形式では、0、0.5、1、1.5、2、3、4、6と、それらの負の値からなる15種類の数値しか表現できない。ただし、NVFP4では16個の値からなるブロックごとにスケール係数を持ち、それを掛けることで表現範囲を調整する。 今回の論文では、8BのDenseモデルと30B-A3BのMoEモデルを最大1Tトークン学習し、既存のFP4学習手法を比較している。 特に提案するMosaic NVFP4では、以下の工夫を組み合わせている。 ・Forwardでは重みを1次元で量子化し、Backwardでは必要な方向に再量子化する。 ・Backwardの2種類の行列積にRandom Hadamard Transformを適用し、外れ値の影響を軽減する。 ・勾配にはMS-EDEN（後述）を使い、Stochastic Roundingより小さな量子化誤差で不偏性を実現する。 ・その他のテンソルにはFour Over Sixによる適応的なスケール選択を適用し、量子化誤差を削減する。 ・最後の15%の層はBF16のまま維持する。 これらを組み合わせることで、30B-A3Bモデルでは1Tトークン学習後のBF16に対する相対学習損失差を0.81%未満まで縮小し、従来のFP4手法から0.36パーセンテージポイント改善した。 特に厄介なのは、すべての層をFP4にすると、8Bモデルでも300Bトークンを超えたところで学習が発散したことである。また、手法間の優劣は150Bトークンを超えるまで安定せず、短期間の小規模実験だけではFP4学習手法を適切に評価できないことも示された。 ・MS-EDEN 勾配の量子化において、バイアスをゼロに保ちながら量子化誤差の分散を小さくする手法。 個々の値を確率的に丸めるStochastic Roundingとは異なり、まずベクトル全体にRandom Hadamard Transformを適用して値を混合し、FP4に量子化する。その後、補正係数を掛けることで不偏性を回復する。 この補正係数はNVFP4のブロックスケールに組み込まれる。スケールはFP8で格納されるため、補正後のスケールを量子化する際にはStochastic Roundingを使用する。 これにより、各要素を確率的に丸める場合よりも小さな量子化誤差で、不偏な勾配推定を実現できる。 ・Four Over Six FP4のE2M1形式では、表現可能な値の4と6の間に5が存在しないため、この領域で量子化誤差が大きくなりやすい。 通常のスケーリングでは、ブロック内の絶対値の最大値をFP4の6に対応させる。しかし、最大値を4に設定した方が、ブロック全体の量子化誤差が小さくなる場合がある。 Four Over Sixは、ブロックごとに最大値を4に対応させる場合と6に対応させる場合の両方を試し、量子化後の二乗誤差が小さい方を選択する。 コメント ==== FP4は行列積の演算性能を向上させ、必要なメモリ帯域幅も削減できるため有望だが、大規模な事前学習での実績はまだ限られている。 今回の研究でも、かなり学習が進んだ後に発散する現象が確認された。最後の15%の層をBF16に維持することで発散を抑えられ、この条件ではBackwardの量子化手法による性能差もかなり小さくなる。 これは、Backwardの量子化バイアスを抑えるだけでは解決できない問題が残っていることを示している。著者らは量子化による表現精度の問題を示唆しているが、発散の詳しい機構はまだ分かっていない。 学習が進むにつれて小さな数値誤差が蓄積し、学習ダイナミクスが変化する可能性も考えられる。Forward側の表現誤差や、量子化とパラメータ更新の相互作用も重要だと思われる。 これはFP4に限らず、誤差逆伝播法を近似したり、一部を別の計算方式に置き換えたりする手法にも共通する課題である。小規模な実験では問題なく動作していても、モデルを大きくしたり学習を長期間続けたりすると、発散や性能劣化が生じる場合が多い。 深層学習はかなり粗い数値計算でも動作する印象があるが、特に長期間の学習における勾配計算や数値誤差の扱いは、想像以上に繊細である。

TVアニメ『ガイキング LEGEND OF DAIKU-MARYU』より、ガイキングがMOSHOWTOYSの「匠心級（Precision Class）」シリーズからアクションフィギュア化！2027年2月発売予定！ #ガイキング#

🔍 TL;DR: 汎用AIエージェントのコードレビューにありがちな見落としやズレを、Alibaba社内実績のハイブリッド設計で解決したCLIツールです。 タイトル: alibaba/open-code-review URL: 📌 ポイント ⚙️ 精度が必要な部分はハード制約、判断が必要な部分だけAIに任せる設計 📝 Gitディフから行単位の構造化レビューコメントを生成 🕵️ 未知のコードベース向けにフルファイルスキャンモードも搭載 🛡 NPE・スレッドセーフティ・XSS・SQLインジェクションなど多言語ルール内蔵 🔌 Claude Code、Codex、Cursorなどにプラグインで統合可能 📊 50リポジトリ・200PRのベンチマークでClaude Codeより高いPrecision/F1 💰 トークン消費は比較対象の約1/9 数千人規模の社内運用で鍛えられた精度が、そのままOSSで使えるのは魅力的だと思います。 #コードレビュー# #AIエージェント#

検索パイプライン構築の本当の敵は「ツールの寄せ集め」でした🔍 取り込み・検索・評価を1つに束ねるオープンソースのフレームワークが登場しました。 タイトル: Introducing Search Toolkit URL: 🔍 概要 Mistral Search Toolkitは、AIアプリ向けの本番検索パイプラインを効率化する、コンポーザブルなオープンソースのフレームワークです。取り込み（ingestion）・検索（retrieval）・評価（evaluation）を、1つの統一システムに統合します。 ❓ 解決する課題 本番品質の検索パイプライン構築は想像以上に大変です。 ・多くの組織は、バラバラのツールを寄せ集めて統合することに膨大な時間を費やします ・その結果、肝心の「検索の質を上げること」自体に手が回りません 💡 方法論と機能 3つのコンポーネントで構成されます。 ・取り込み：複数データソースを設定可能なパイプラインで処理し、パース・チャンク分割・埋め込み生成を担う ・検索：BM25スパース検索、密な埋め込みベース検索、両者のハイブリッド構成を提供 ・評価：recall・precision・MRR・NDCGなどの組み込み指標で、構成ごとの性能を測定 「取り込み→検索→評価」を1つのフレームワークで完結できます。 🌍 ユースケース ・ウィキ・リポジトリ・ファイルを横断するエンタープライズ検索 ・検索の質を分離して測定したいRAGシステム ・法務・医療などのドメイン特化検索 ・ライブデータと並行して信頼できるインデックス検索が必要なエージェント 金融・製造・公共・メディアで既に導入実績があります。 #検索# #RAG#

「CI/CDのYAML、もう手で書きたくない」——その願いを叶えにきた研究です⚙️ 自然言語の説明から、リポジトリに合ったパイプラインを自動生成します。 タイトル: AutoPipelineAI: Context-Aware CI/CD Pipeline Generation from Natural Language URL: ⚙️ 概要 本研究は、自然言語の説明からCI/CDパイプライン構成を自動生成するシステム「AutoPipelineAI」を提案しています。LLMを活用し、リポジトリの構造を解析したうえで、GitHub ActionsやGitLab CI/CD向けのプラットフォーム固有スクリプトを生成し、検証とフィードバックで品質を担保します。 ❓ 解決する課題 現代の開発では、テストやデプロイを自動化するCI/CDパイプラインが欠かせませんが、その設定は難しく時間のかかる作業です。 ・GitHub ActionsやGitLab CI/CDなど、プラットフォームごとに異なる構文を理解する必要があります ・その複雑さが設定ミスや生産性の低下を招きます ・特にDevOps経験の浅い開発者にとっては、大きな参入障壁になっていました 💡 方法論と提案手法 AutoPipelineAIは、3つの主要コンポーネントで構成されます。 ・リポジトリ認識型の解析：プロジェクト構造を分析し、どんな言語・依存・構成かという文脈を理解します ・LLMによる変換：開発者の自然言語による意図を、対象プラットフォーム固有の構成へ翻訳します ・自動検証とフィードバック：生成したパイプラインの正確さと使いやすさを確認し、必要に応じて修正します 単に文章をYAMLに変換するのではなく、リポジトリの文脈を取り込んでターゲット環境に合った構成を作る点が「Context-Aware（文脈認識）」たる所以です。 🌍 ユースケース / 実験結果 評価は、実務に直結する観点で行われました。 ・precision（精度）指標 ・構成の妥当性（configuration validity） ・手作業に対する労力削減（effort reduction） これらを通じて、「リポジトリ認識・自然言語駆動のCI/CD生成が、実用的で有望なパラダイムである」という初期的な証拠が示されました。DevOps専任がいない小規模チームのオンボーディングコストを下げる効果が期待されます。 #CICD# #DevOps#

【最新】AI活用の品質・リスクを可視化🛡️ (株)ProVisionは、AI活用における品質とリスクの検証を支援する「AIシステム品質検証」を提供開始。 AIを組み込んだシステムや社内AIツールを対象に、ハルシネーションやセキュリティ、出力品質などを検証する。 @ProVision_all

AIが自律性を高める時代、問われるのは「どう活用するか」だけではない。 人とAIがともに制御を担う、新たなガバナンスへ。 ProVision 📖 技術の信頼性 ― AIは誰が制御するのか 🔗