「計算やグラフの描画をデジタルに任せる」日本学術会議、数学教育の転換を提言→テストは「基礎計算」と「機器で考察」を分離…5ch「高校生以上はそれで良いかもしれないけど中高生はダメだわ」 背景には、日本の生徒が表計算ソフトなどを使う経験でOECD平均を下回る現状があります。

ド キ ュ メ ン ト □□□□　□□□□ 　　　□　□　　□ □□□□　□　　□ □　　　　□　　□ □□□□　□□□□ min. 今回は 「□からのぞく世界」 #表計算ソフト# #自作ゲーム# 17（日）夜11:50［総合］ ⬇️全ては四角です⬇️

わたし通勤時間1時間だと思ってたんだけど予定表作って計算してて徒歩とか含めたら全然1時間半だったことに気づいて横転したwwwwそりゃ毎日時間ないし通勤疲れるわ(^_^;)3年間気づいてないのさすがにアホでおもろい

⚙️NVIDIAが量産に入れたAI推論ラックの仕様表に、HBMの行が無い | 答えを出す側だけが別の箱へ移った $NVDA $NBIS 仕様表にHBMの行が無い。NVIDIA $NVDA が8月24日にフル生産入りを発表したAI推論ラックの話だ。積むメモリは、チップに直接載せるSRAMがラックあたり128GB、大きなモデルとワークロードのためのDDR5が12TB。この2種類しかない。 Groq 3 LPXという。NVIDIAが昨年12月にGroqから非独占でライセンスした推論技術の、最初の製品だ（金額は報道ベースで200億ドルとされる）。CNBCによれば、このチップを作っているのはSamsungで、NVIDIAのGPUを作るTSMCではない。 HBMが不要になったのではない。HBMが要る仕事のほうを、隣の箱に置いてきた。 推論は途中で性質が変わる。入力を読み込むprefillの段は何千トークンもまとめて行列演算に流せるので、律速するのは計算力になる。答えを1トークンずつ出すdecodeの段は違う。次のトークンが前のトークンに依存するから並列化できず、1トークン出すたびに重みとKVキャッシュを読み直す。ここで時間を決めるのは演算器の数ではなく、読み出しの速さだ。 NVIDIAはこの2つを別々のラックに分けた。同社の技術ブログが標準構成として挙げるのは、Vera Rubin NVL72がprefillを担当し、1ターンに1回KVキャッシュをLPXへ渡す形だ。LPXはSRAMに置いた重みとそのKVキャッシュを使って、decodeの段を丸ごと実行する。 読み出しがdecodeの時間を決めるなら、読み出す場所をチップの中に入れてしまえばいい。それがGroqの元の主張だった。同社の解説はオンチップSRAMの帯域を毎秒80テラバイト超と書き、GPUが外に付けるHBMのおよそ毎秒8テラバイトと並べて、最大10倍の差だと説明している。 NVIDIA版のLPXは1チップに500MBのSRAMを載せ、256個を1ラックに詰めて128GB、帯域はラック全体で毎秒40ペタバイトになる。The Registerの試算では、Gemma 4 31BをFP8で載せるのに要るのは256個のうち64個ぶんだ。モデルはSRAMに収まっている。 decodeがメモリ帯域で詰まる、という話は前からあった。そこにNVIDIAが出した答えは、より速いHBMではない。decodeをHBMの外へ出すことだった。 売るのは計算力ではなく待ち時間になる。Artificial Analysisが計ったのはLPX側の生成速度で、Gemma 4 31Bを10万トークンの文脈で走らせて1ユーザーあたり毎秒3,400トークン。NVIDIAが「いちばん近い代替の4倍」と呼ぶ相手は、Cerebrasの毎秒882トークンだ。 > トークンを提供する側にとっては、待ち時間の要求がいちばん厳しい利用者と顧客に向けて、プレミアム階層のサービスを出せるようになる > （Dion Harris, NVIDIA HPC・AIファクトリーソリューション担当シニアディレクター） 3月のGTCでJensen Huangは、Vera Rubinの性能と価値を延ばすために、Groqラックがデータセンターの面積の最大25%を占めうると述べていた。配分計画ではなく上限の話だが、GPUではない計算機に4分の1まで空ける構図をNVIDIA自身が描いている。 最初に買うのはNebius $NBIS だ。3月にNVIDIAが20億ドルを出資し、Rubin・Vera CPU・BlueFieldへの早期アクセスを含む提携を結んだ相手で、自社の推論基盤Token Factoryに載せる。低遅延の区画にはAMDとCerebrasも入ってきていて、NVIDIAの置き方の違いは、Vera Rubinを置き換えずその隣に並べる点にある。 見どころは水曜の決算そのものより、Nebiusの初号機が年内に実際に立ち上がるかだ。立たなければ、25%という上限は図面のままで終わる。 トークンの速さは長いあいだGPUの枚数の関数として語られてきた。今日量産に入った箱は、その関数の後半だけを切り離して書き直す。隣に残るVera Rubinの側では、HBMは前段の仕事を続ける。 🤘情報提供 Stock Slayer :