登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 パーセンテージでセットしてるやろ
パーセンテージでセットしてるやろ コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
パーセンテージでセットしてるやろ を含む検索結果
「このタスクに合うベンチマークってどれだっけ」を毎回散らばった情報源から探すの、地味に時間を食いますよね。 タイトル: Benchmark Radar: A Living Database and Search Engine for AI Benchmarks and Evaluation URL: ❓ Benchmark Radarって何? 💡 arXiv・Hugging Face・GitHubなど37ソースを日次で巡回し、ベンチマークの論文・データセット・リポジトリ・スコア履歴を1つの検索エンジンにまとめたツールです。CLIでオフラインクエリもできます。 ❓ どれくらいの規模のデータを扱っているの? 💡 4つのカタログから1,283件のソースレコード、790ベンチマークにまたがる12,916件の数値スコアを収録。日次収集だけで6,546アーティファクトから11,068件の観測を記録しています。 ❓ なぜ単純にスコアを比較できないの? 💡 スコア付きレコードのうち0〜100の検証済みパーセンテージスケールを使っているのはわずか82件。残りは異なるスケールや未検証のスケールで、公開日も約半数が不明なため、単純比較は危険なんです。 ❓ だからどうするの? 💡 無理に比較可能にするのではなく、出典と引用を保持して読者自身が評価条件を検査できるようにする、という設計を取っています。 #LLM評価# #ベンチマーク#
もっと見る
💡上げ幅が大きいのはAI向けでなく民生用のコンデンサだ | 民生の値上げには注文を減らす役割がある 009150.KS 6981.T AIサーバー向けより、スマートフォンや家電に載る安いほうが大きく値上がりする。調査会社TrendForceが8月27日に出した10〜12月期の価格見通しは、そういう順番になっている。 対象は積層セラミックコンデンサ(MLCC)。チップの隣に置いて電気を一瞬ためては放す、1個が数銭から数円の部品だ。Samsung Electro-Mechanics 009150.KS がOEM・ODM向けに出す価格について、民生用のX5Rが平均25〜30%、AIサーバー用の高機能品X6Sが10〜20%上がるとTrendForceは見積もっている。パーセンテージだけ並べると、品薄なのは民生用に見える。 逆だ。TrendForceは、民生用の値上げに売値を上げること以外の役割を見ている。注文そのものを抑え、空いた生産能力を高機能品ラインの拡張へ回すことだ。 X6Sのほうは、上げ幅が顧客ごとの交渉で変わるとTrendForceは書いている。並んで出てくる二つのパーセンテージは、同じ物差しで付いた数字ではない。 押し出された民生の注文は消えない。行き先は台湾と中国のメーカーで、一部はすでに稼働率が90%近い。TrendForceは、こちらも10〜12月期に平均10〜20%上がるとみている。中容量から高容量の民生品が中心だ。ただし彼らは押し出された注文が流れる先であって、AIサーバー向けの枠を決める側ではない。 日本の大手はここに加わっていない。Murata 6981.T、Taiyo Yuden、Kyoceraの3社は10〜12月期のOEM・ODM向け価格を据え置き、様子を見ているとTrendForceは書いている。 据え置きの中身は、Murataの決算資料に出ている。4〜6月期の売上高は5,023億円で四半期として過去最高、うちコンデンサが2,825億円と56.2%を占める。受注高は6,739億円、受注出荷比は1.34。どちらも過去最高だ。 それでも、営業利益985億円(前年同期比+59.8%)の増加要因として会社が挙げたのは、生産増による稼働率の改善と円安だった。同じ資料には、減益要因として固定費の増加と製品価格の下落が並んでいる。受注が過去最高だった四半期の利益は、値段から来ていない。 値上げを先に始めたSEMCOのほうも、規模を確かめておく。4〜6月期のコンポーネント事業は1兆6,494億ウォン、全社3兆4,572億ウォンの48%にあたる。価格の付け替えが起きているのは、会社の半分近くを占める事業だ。 追う軸は一つでいい。Murataが10〜12月期の見積もりを動かすかどうかだ。動かせば、今回の値上げが韓国から台湾・中国を経て日本の大手まで届いたことの確認になる。動かさなければ、10〜12月期の値上げはその手前で止まる。 値上げ率の並びを需要の強さの並びとして読むと、順番を取り違える。いちばん上がった品目が、いちばん欲しがられている品目とは限らない。作り手が数を減らしたい品目にも、大きい数字は付く。 🤘情報提供 Stock Slayer :
もっと見る
FP4による大規模言語モデルの事前学習について、既存手法を体系的に比較した論文が公開されている。 “What Matters for NVFP4 Training - A Comparative Study of Low-Precision Pretraining Recipes” FP4を使った学習は高速な行列演算や必要なメモリ帯域幅を抑えられる一方、BF16と比較すると精度低下や学習の不安定性が残る。 FP4のE2M1形式では、0、0.5、1、1.5、2、3、4、6と、それらの負の値からなる15種類の数値しか表現できない。ただし、NVFP4では16個の値からなるブロックごとにスケール係数を持ち、それを掛けることで表現範囲を調整する。 今回の論文では、8BのDenseモデルと30B-A3BのMoEモデルを最大1Tトークン学習し、既存のFP4学習手法を比較している。 特に提案するMosaic NVFP4では、以下の工夫を組み合わせている。 ・Forwardでは重みを1次元で量子化し、Backwardでは必要な方向に再量子化する。 ・Backwardの2種類の行列積にRandom Hadamard Transformを適用し、外れ値の影響を軽減する。 ・勾配にはMS-EDEN(後述)を使い、Stochastic Roundingより小さな量子化誤差で不偏性を実現する。 ・その他のテンソルにはFour Over Sixによる適応的なスケール選択を適用し、量子化誤差を削減する。 ・最後の15%の層はBF16のまま維持する。 これらを組み合わせることで、30B-A3Bモデルでは1Tトークン学習後のBF16に対する相対学習損失差を0.81%未満まで縮小し、従来のFP4手法から0.36パーセンテージポイント改善した。 特に厄介なのは、すべての層をFP4にすると、8Bモデルでも300Bトークンを超えたところで学習が発散したことである。また、手法間の優劣は150Bトークンを超えるまで安定せず、短期間の小規模実験だけではFP4学習手法を適切に評価できないことも示された。 ・MS-EDEN 勾配の量子化において、バイアスをゼロに保ちながら量子化誤差の分散を小さくする手法。 個々の値を確率的に丸めるStochastic Roundingとは異なり、まずベクトル全体にRandom Hadamard Transformを適用して値を混合し、FP4に量子化する。その後、補正係数を掛けることで不偏性を回復する。 この補正係数はNVFP4のブロックスケールに組み込まれる。スケールはFP8で格納されるため、補正後のスケールを量子化する際にはStochastic Roundingを使用する。 これにより、各要素を確率的に丸める場合よりも小さな量子化誤差で、不偏な勾配推定を実現できる。 ・Four Over Six FP4のE2M1形式では、表現可能な値の4と6の間に5が存在しないため、この領域で量子化誤差が大きくなりやすい。 通常のスケーリングでは、ブロック内の絶対値の最大値をFP4の6に対応させる。しかし、最大値を4に設定した方が、ブロック全体の量子化誤差が小さくなる場合がある。 Four Over Sixは、ブロックごとに最大値を4に対応させる場合と6に対応させる場合の両方を試し、量子化後の二乗誤差が小さい方を選択する。 コメント ==== FP4は行列積の演算性能を向上させ、必要なメモリ帯域幅も削減できるため有望だが、大規模な事前学習での実績はまだ限られている。 今回の研究でも、かなり学習が進んだ後に発散する現象が確認された。最後の15%の層をBF16に維持することで発散を抑えられ、この条件ではBackwardの量子化手法による性能差もかなり小さくなる。 これは、Backwardの量子化バイアスを抑えるだけでは解決できない問題が残っていることを示している。著者らは量子化による表現精度の問題を示唆しているが、発散の詳しい機構はまだ分かっていない。 学習が進むにつれて小さな数値誤差が蓄積し、学習ダイナミクスが変化する可能性も考えられる。Forward側の表現誤差や、量子化とパラメータ更新の相互作用も重要だと思われる。 これはFP4に限らず、誤差逆伝播法を近似したり、一部を別の計算方式に置き換えたりする手法にも共通する課題である。小規模な実験では問題なく動作していても、モデルを大きくしたり学習を長期間続けたりすると、発散や性能劣化が生じる場合が多い。 深層学習はかなり粗い数値計算でも動作する印象があるが、特に長期間の学習における勾配計算や数値誤差の扱いは、想像以上に繊細である。
もっと見る