GPUとAI半導体の巨人NVIDIAに激震。ジェンスン・フアンCEOを標的とする中国のスパイ工作疑惑で独立調査を開始。不倫関係を認め謝罪 フアン氏と親密な関係にあった女性に，中国情報機関との関係が疑われている。同社は機密流出を確認しておらず，米議会も説明を要求している

GPUの計算時間を、必要な期間だけ売買しやすくする市場にも資金が向かうのでしょうか（ 報道は、3段階に分けた計1億5,000万米ドルを調達中で、Thrive CapitalとGeneral Catalystが主導するという内容。最終段階の評価額が10億米ドルを超える可能性にも触れています。 これは調達完了の発表ではありません。1億5,000万米ドルは調達中の金額で、10億米ドル超は成立した場合の評価額の話です。会社による正式な完了発表、最終条件、資金の具体的な使途は確認できていません。 Ornnの公式サイトでは、GPUの計算能力を必要とする企業と、空いている設備を持つ側をつなぐサービスを提供しています。契約期間は短時間から複数年まで。使わない容量を他の利用者へ回し、取引に基づく価格情報も扱います。 AIモデルを開発する会社に加え、計算資源を確保し、余った分を融通し、価格を把握する仕組みにも事業が広がっています。長期契約で余らせるリスクと、必要なときに不足するリスクをどう減らすか。今回の交渉報道は、その市場を追う材料として見ています。

GPUに入り切らないMoEモデルを動かすとき、「次の語」だけでなく「次に必要な重み」まで先読みするSpecterが面白い（ MoEは、入力ごとに一部の専門家ネットワークを選んで計算する仕組み。重みをCPU側のメモリへ置けば大きなモデルも扱えるが、必要になるたびGPUへ転送すると、その間GPUが待つ。 Specterは元モデルの専門家部分を4ビットへ量子化した軽量版で、複数の候補トークンを先に作る。同じ構造を持つので、将来どの専門家を使いそうかも予測できる。その重みを先に運び、下書きや検証の計算と転送を重ねる。 候補は元のFP16モデルで検証し、採用された部分だけ確定する。軽量版の出力を無条件で使う方式ではなく、誤った先読みは主に転送効率へ影響する。 A100 40GBを1基使った実験で、単一リクエストの出力トークン当たり時間は、比較対象のSpecMoEOffに対して平均1.50倍、最大1.88倍の高速化。モデルやメモリ条件で差があり、すべてのローカルGPUで同じ倍率が出るという結果ではない。 先読みを深くすればよいわけでもなく、候補を増やすほど必要な専門家も増える。そのため先読みの深さを事前計測で選び、キャッシュと実行順も一緒に調整している。 小さなモデルに最終判断を代行させるだけでなく、大きなモデルが待たずに働けるよう準備させる。推論の高速化をデータ転送まで含めて考える設計だと思う。

GPUが2年で陳腐化すると言っていた人たちは構造変化が起きていることに気付いていないため、ここ1〜2年はずっと頓珍漢な予想を出し続けますね 根本が間違っている

「GPUの販売ビジネス」で急速に売り上げを伸ばし、株価も高騰しているイオレという会社について調べていたところ、色々と凄いことが分かったので、メルマガの記事として執筆中。GPUを購入しているのは、AIと全く縁のない日本の中小企業。補助金と税制を巧みに利用したスキーム。