登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 想像超えることしか起きないThisLife
想像超えることしか起きないThisLife コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
想像超えることしか起きないThisLife を含む検索結果
FP4による大規模言語モデルの事前学習について、既存手法を体系的に比較した論文が公開されている。 “What Matters for NVFP4 Training - A Comparative Study of Low-Precision Pretraining Recipes” FP4を使った学習は高速な行列演算や必要なメモリ帯域幅を抑えられる一方、BF16と比較すると精度低下や学習の不安定性が残る。 FP4のE2M1形式では、0、0.5、1、1.5、2、3、4、6と、それらの負の値からなる15種類の数値しか表現できない。ただし、NVFP4では16個の値からなるブロックごとにスケール係数を持ち、それを掛けることで表現範囲を調整する。 今回の論文では、8BのDenseモデルと30B-A3BのMoEモデルを最大1Tトークン学習し、既存のFP4学習手法を比較している。 特に提案するMosaic NVFP4では、以下の工夫を組み合わせている。 ・Forwardでは重みを1次元で量子化し、Backwardでは必要な方向に再量子化する。 ・Backwardの2種類の行列積にRandom Hadamard Transformを適用し、外れ値の影響を軽減する。 ・勾配にはMS-EDEN(後述)を使い、Stochastic Roundingより小さな量子化誤差で不偏性を実現する。 ・その他のテンソルにはFour Over Sixによる適応的なスケール選択を適用し、量子化誤差を削減する。 ・最後の15%の層はBF16のまま維持する。 これらを組み合わせることで、30B-A3Bモデルでは1Tトークン学習後のBF16に対する相対学習損失差を0.81%未満まで縮小し、従来のFP4手法から0.36パーセンテージポイント改善した。 特に厄介なのは、すべての層をFP4にすると、8Bモデルでも300Bトークンを超えたところで学習が発散したことである。また、手法間の優劣は150Bトークンを超えるまで安定せず、短期間の小規模実験だけではFP4学習手法を適切に評価できないことも示された。 ・MS-EDEN 勾配の量子化において、バイアスをゼロに保ちながら量子化誤差の分散を小さくする手法。 個々の値を確率的に丸めるStochastic Roundingとは異なり、まずベクトル全体にRandom Hadamard Transformを適用して値を混合し、FP4に量子化する。その後、補正係数を掛けることで不偏性を回復する。 この補正係数はNVFP4のブロックスケールに組み込まれる。スケールはFP8で格納されるため、補正後のスケールを量子化する際にはStochastic Roundingを使用する。 これにより、各要素を確率的に丸める場合よりも小さな量子化誤差で、不偏な勾配推定を実現できる。 ・Four Over Six FP4のE2M1形式では、表現可能な値の4と6の間に5が存在しないため、この領域で量子化誤差が大きくなりやすい。 通常のスケーリングでは、ブロック内の絶対値の最大値をFP4の6に対応させる。しかし、最大値を4に設定した方が、ブロック全体の量子化誤差が小さくなる場合がある。 Four Over Sixは、ブロックごとに最大値を4に対応させる場合と6に対応させる場合の両方を試し、量子化後の二乗誤差が小さい方を選択する。 コメント ==== FP4は行列積の演算性能を向上させ、必要なメモリ帯域幅も削減できるため有望だが、大規模な事前学習での実績はまだ限られている。 今回の研究でも、かなり学習が進んだ後に発散する現象が確認された。最後の15%の層をBF16に維持することで発散を抑えられ、この条件ではBackwardの量子化手法による性能差もかなり小さくなる。 これは、Backwardの量子化バイアスを抑えるだけでは解決できない問題が残っていることを示している。著者らは量子化による表現精度の問題を示唆しているが、発散の詳しい機構はまだ分かっていない。 学習が進むにつれて小さな数値誤差が蓄積し、学習ダイナミクスが変化する可能性も考えられる。Forward側の表現誤差や、量子化とパラメータ更新の相互作用も重要だと思われる。 これはFP4に限らず、誤差逆伝播法を近似したり、一部を別の計算方式に置き換えたりする手法にも共通する課題である。小規模な実験では問題なく動作していても、モデルを大きくしたり学習を長期間続けたりすると、発散や性能劣化が生じる場合が多い。 深層学習はかなり粗い数値計算でも動作する印象があるが、特に長期間の学習における勾配計算や数値誤差の扱いは、想像以上に繊細である。
もっと見る
#時間がない# 公演⏰ #藤本冬香生誕祭2023# ありがとうございましたー! どの活動を思い返しても常に隣にいる大好きな人です🫶 ふゆちゃんといると常に想像を超えることが起きるのでいつも楽しいです👶 そんな大好きなふゆちゃんをたくさん幸せにできるようにがんばります❤️‍🔥 お誕生日おめでとう🎂
もっと見る
AIで成功するマインドとは「20兆円と100億円の差」 先日、10名ほどの社員とゲームをしました。 「世界であなた一人だけがAIを自由に使えるとして、新しい事業を作ったとしたら、この1年間でいくらの売上を上げられるかをAIに聞いてみて。売り上げの高い答えが出た人が勝ちね」 結果、AIの答えは3000万円から100億円でした。 彼らはAIに「○○の条件で起業をしたら、1年間でどの程度の売り上げが見込めるか?」と聞いてました。 しかし私がAIに聞いたら20兆円との答えが出ました。200倍です。 驚く彼らにネタを明かしました。 私は「100兆円の売り上げがあげられる起業ネタを10個作ってください」と聞いていたのです。 AIはすべての分野で天才です。 しかし多くの人は自分の仕事の範囲内でAIを使おうとします。 それはウルトラマンに掃除をさせるようなもの。 私たちの範囲を超える大きなことを想像して、質問すれば私たちの想像を超える答えが返ってきます。 そこから壁打ちをしていけば、実現可能なタスクにまで落とし込めます。 すごい時代になりました。 私たちはAIに「想像を超える質問をし続けて、タスクに落として行動する」だけで大きなことができるようになったのです。 これがAIを活用して成功するマインドだと私は思います。
もっと見る
私がここまで白いベルトと 共に培ってきた強さ。 そして地獄から ここまで這い上がってきた 白川未奈の強さ。 試合をしていく中で 尋常じゃないパワーを 感じ合うことができた。 今の私たちなら想像を超える とんでもない闘いになる。 そして、それぞれ 自分自身の闘いでもある。 限界を‥越えるんだ。
もっと見る
📕予約情報 2026/06/30 発売 #モンスターコミックス# 『勇者伝説の裏側で俺は英雄伝説を作ります ~王道殺しの英雄譚~ 12』 荒井空真先生 / ナカノムラアヤスケ先生 @PureNakanomura 🍈メロン特典:イラストカード 🔽通販はこちら --- 【あらすじ】 ルナティス王国で勇者レリクスが魔族と交戦し、宝剣が奪われたことを知ったユキナたち。その宝剣はサンモトに封印されている“災厄”を解き放つ鍵だという。ロウザが陥っている将軍職をめぐるお家騒動の件も気がかりなユキナは、危険を承知でロウザと共にサンモトへ乗り込むことを決める!そして辿り着いたサンモトにはユキナの想像を超える混沌が待ち受けていた――。 欲望に忠実に生きる“英雄”の冒険譚、邂逅の第12弾!
もっと見る
《《写真展「TRITON」》》 6/8〜6/14の1週間(※プレオープンも含め 無事に終えることができました🎉 この1週間、毎日在廊しながら 沢山の方と直接お会いできたこと。 作品を見て感じたことや、 それぞれの想いを聞かせていただけたこと。 私にとってかけがえのない時間でした。 そして今回‼︎ 一般来場者だけでも500名以上、 関係者の皆様を含めると600名を超える方々に足を運んでいただきました。 正直、この景色は想像していませんでした。 1年前から少しずつ準備を重ね、 不安や葛藤も抱えながら迎えた写真展。 八丈島で育った私が、 料理人として働き、 セクシー女優を始めとし タレント活動を始め、 たくさんの出会いと経験を重ねながら 辿り着いた一つの集大成でした🙌 「TRITON」には、 海をテーマに、 過去・現在・未来、 そして今の私が感じている想いを込めました。 この展示を通して、 作品だけでなく、 私自身の歩んできた時間や想いまで受け取っていただけていたら嬉しいです。 会場へ足を運んでくださった皆様。 遠方から応援してくださった皆様。 作品づくりを支えてくださった関係者の皆様。 本当にありがとうございました。 思い出すと今にでも泣きそうです。 そのぐらい想いが詰まってました。 毎日在廊していたので、 今日から少し寂しい気持ちもあります😢 でも、この1週間でいただいた沢山の言葉や笑顔、景色は私の宝物です。 また新しい挑戦と成長を重ね、 皆さんに胸を張って見てもらえる作品を 作れるよう頑張ります😚✊ どうか皆さんの記憶の中に、 「TRITON」が残り続けますように。 本当に大きな応援をありがとうございました。 川越にこ✌️🖐️
もっと見る
【九嬢らいと Grand Birthday 3Days 感謝御礼】 3日間にわたり開催した「九嬢らいとグランドバースデー」🥀 皆様、本当にありがとうございました!✨ 今回はビスクドール初の「和」をコンセプトにした 特別な空間をお届けしましたが、いかがでしたか?🌹🪭 連日、数えきれないほどの皆様に駆けつけていただき、 店内は圧巻の熱気に包まれました! 皆様の愛ある応援のおかげで、 らいと自身も「想像を遥かに超える高い景色」に到達することができ、 まさに歴史に刻まれる伝説の3日間となりました✨🕯️🦋 ですが、九嬢らいとはここで止まりません。 この経験を糧に、さらに輝きを増していく彼女の活躍を、 温かく見守ってください🖤🎀 これからも、 九嬢らいと、そしてビスクドールを よろしくお願いします!🍷🏰
もっと見る
大手ファンドで出世したバリキャリ女性が「結婚したい」「けど、理想の相手がいない」といって奢りにきたので、「あなたは、現在の価値に囚われすぎている。ほら。ファンドだって、将来性に投資するワケでしょ?なぜ同じことが、婚活になるとできないんですか?」という話になった。 婚活においてパートナーを選ぶなら、「今その人との関係を魅力的に思うか」ではなく、「こどもを持ち、それから3年経ったときに、その関係は悪くないものになっているか」で考えるべきだ、と話した。 つまり、これは「子育ては運動部」理論である。 初対面では別にしっくりこない、とくに相性のよくなさそうなチームメイトでも「3年クソみたいな顧問にしごかれながらキツイ練習を共にする」と、なんだか愛着が湧いてきて、むしろ「入学当初仲の良かったクラスメイト」なんかよりも、ずっと仲良くなっていたりする。一生呑める仲にすらなりうる。 結婚と子育ては「部活」である。これをいかに超えるか。そして、超えたあとに「育まれる関係性が想像できるか」。これでパートナーを選ぶ。つまり、今の価値だけを測るのではなく、本質的な運用を続けることで高まる将来的な価値も、パートナーの査定に含めよ、と。 あなたも、本業ではそういう会社を買うでしょ?同じことやんなよ!というお話しである。 というわけで、さいきんは趣味で「奢りにきたひとたち」を結婚させたりしています。詳細は @taichinakaj のプロフに!
もっと見る