#𝘿𝙊𝙃𝙔𝙊𝙃# フリーライブ・特典会 ステッカーペタペタ会🖐🏻 🔗 メンバーがストーリーホルダーに ステッカーを貼るよ🧸 その様子も撮影OKです🎥 #15ペタペタ会# #onefive#

⚙️NVIDIAが量産に入れたAI推論ラックの仕様表に、HBMの行が無い | 答えを出す側だけが別の箱へ移った $NVDA $NBIS 仕様表にHBMの行が無い。NVIDIA $NVDA が8月24日にフル生産入りを発表したAI推論ラックの話だ。積むメモリは、チップに直接載せるSRAMがラックあたり128GB、大きなモデルとワークロードのためのDDR5が12TB。この2種類しかない。 Groq 3 LPXという。NVIDIAが昨年12月にGroqから非独占でライセンスした推論技術の、最初の製品だ（金額は報道ベースで200億ドルとされる）。CNBCによれば、このチップを作っているのはSamsungで、NVIDIAのGPUを作るTSMCではない。 HBMが不要になったのではない。HBMが要る仕事のほうを、隣の箱に置いてきた。 推論は途中で性質が変わる。入力を読み込むprefillの段は何千トークンもまとめて行列演算に流せるので、律速するのは計算力になる。答えを1トークンずつ出すdecodeの段は違う。次のトークンが前のトークンに依存するから並列化できず、1トークン出すたびに重みとKVキャッシュを読み直す。ここで時間を決めるのは演算器の数ではなく、読み出しの速さだ。 NVIDIAはこの2つを別々のラックに分けた。同社の技術ブログが標準構成として挙げるのは、Vera Rubin NVL72がprefillを担当し、1ターンに1回KVキャッシュをLPXへ渡す形だ。LPXはSRAMに置いた重みとそのKVキャッシュを使って、decodeの段を丸ごと実行する。 読み出しがdecodeの時間を決めるなら、読み出す場所をチップの中に入れてしまえばいい。それがGroqの元の主張だった。同社の解説はオンチップSRAMの帯域を毎秒80テラバイト超と書き、GPUが外に付けるHBMのおよそ毎秒8テラバイトと並べて、最大10倍の差だと説明している。 NVIDIA版のLPXは1チップに500MBのSRAMを載せ、256個を1ラックに詰めて128GB、帯域はラック全体で毎秒40ペタバイトになる。The Registerの試算では、Gemma 4 31BをFP8で載せるのに要るのは256個のうち64個ぶんだ。モデルはSRAMに収まっている。 decodeがメモリ帯域で詰まる、という話は前からあった。そこにNVIDIAが出した答えは、より速いHBMではない。decodeをHBMの外へ出すことだった。 売るのは計算力ではなく待ち時間になる。Artificial Analysisが計ったのはLPX側の生成速度で、Gemma 4 31Bを10万トークンの文脈で走らせて1ユーザーあたり毎秒3,400トークン。NVIDIAが「いちばん近い代替の4倍」と呼ぶ相手は、Cerebrasの毎秒882トークンだ。 > トークンを提供する側にとっては、待ち時間の要求がいちばん厳しい利用者と顧客に向けて、プレミアム階層のサービスを出せるようになる > （Dion Harris, NVIDIA HPC・AIファクトリーソリューション担当シニアディレクター） 3月のGTCでJensen Huangは、Vera Rubinの性能と価値を延ばすために、Groqラックがデータセンターの面積の最大25%を占めうると述べていた。配分計画ではなく上限の話だが、GPUではない計算機に4分の1まで空ける構図をNVIDIA自身が描いている。 最初に買うのはNebius $NBIS だ。3月にNVIDIAが20億ドルを出資し、Rubin・Vera CPU・BlueFieldへの早期アクセスを含む提携を結んだ相手で、自社の推論基盤Token Factoryに載せる。低遅延の区画にはAMDとCerebrasも入ってきていて、NVIDIAの置き方の違いは、Vera Rubinを置き換えずその隣に並べる点にある。 見どころは水曜の決算そのものより、Nebiusの初号機が年内に実際に立ち上がるかだ。立たなければ、25%という上限は図面のままで終わる。 トークンの速さは長いあいだGPUの枚数の関数として語られてきた。今日量産に入った箱は、その関数の後半だけを切り離して書き直す。隣に残るVera Rubinの側では、HBMは前段の仕事を続ける。 🤘情報提供 Stock Slayer :

15周年コンサートツアー打ち上げイベント ご招待企画の詳細について Boostyチケットよりイベント参加対象者の方にご案内をお送りしております。 ご案内が届いていない方がいらっしゃいましたら、下記窓口よりお問い合わせくださいませ🙇‍♂️ #HKT15周年ツアー# #HKT48#

【158万円あげます／データセンターが「中国に行ってしまう」とトランプ政権が危機感】自国内での推進に住民が不安視、支持者にも反発及ぶ → 約520ヘクタールに15棟計画、町当局は手続き不備で不許可 ニューヨーク州とテキサス州も新規許認可を停止しました。

15歳バイオリニスト・HIMARIが快進撃／竹内まりや豪華MVコレクション放送【9／30よく読まれた音楽ニュース】 #HIMARI# #竹内まりや# #SINGLIKETALKING# #MrsGREENAPPLE# #BRAHMAN# #STARGLOW# #CDTV# #BEFIRST# #Number_i#