GPUが2年で陳腐化すると言っていた人たちは構造変化が起きていることに気付いていないため、ここ1〜2年はずっと頓珍漢な予想を出し続けますね 根本が間違っている

「GPUの販売ビジネス」で急速に売り上げを伸ばし、株価も高騰しているイオレという会社について調べていたところ、色々と凄いことが分かったので、メルマガの記事として執筆中。GPUを購入しているのは、AIと全く縁のない日本の中小企業。補助金と税制を巧みに利用したスキーム。

💡HBFを積んだGPU1枚が、HBM8枚ぶんのモデルを丸ごと抱えられる | 同じ金額と電力で並べ直すと帯域は6割弱だ $SNDK HBFを積んだGPUが1枚、同じく4枚、そしてHBMを積んだGPUが8枚。SanDiskが8月13日の投資家説明会で見せた比較図には、この3つが並んでいる。1枚対8枚は同じモデルを走らせるのに要る最小構成の差で、会社はこれを設備投資効率8倍と呼んだ。4枚が8枚に並ぶのはトークンの出力量のほうで、こちらはGPU効率2倍。どちらも社内試験の数字で、グラフにトークン毎秒の目盛りは入っていない。 Hot Chips 2026で、同じ技術に別の問いを立てた数字が出た。 出したのはOxmiq Labs。Intelのチーフアーキテクトを務めたRaja Koduriが作った会社で、売っているのはライセンス提供のチップアーキテクチャとソフトウェアであって、メモリではない。 問いはこうだ。同じ金額と同じ電力を使うなら、トークンはどちらが安く出せるか。 条件はGPU 72枚のラック1本、1兆パラメータのKimi-K2をFP4で走らせ、入力100万トークン・出力1,000トークンのデコード中心。HBMだけで組むと容量20.7TB、帯域の合計1,584TB/s。同じ金額と電力でHBFに置き換えると、容量は294.9TBへ約14倍に増え、帯域合計は922TB/sへ6割弱に下がる。混ぜると89.3TBで、帯域は条件次第で279〜1,418TB/sに散る。 容量が枚数を決めているうちは、HBFの側が勝つ。HBFなら1枚でKimi-K2を丸ごと抱えられるので、ラック1本に72インスタンスが入る。HBMだと1インスタンスに8枚要るから9インスタンスで止まり、束ねた8枚の演算は容量のために遊ぶ。ここまではSanDiskの図と同じ向きだ。 向きが変わるのは、同時に使う人と1秒あたりの生成量が増えたときだ。帯域が律速になった時点から、トークン1個あたりの原価はHBMの側が下になる、というのがOxmiqの試算である。安くなるのは1ギガバイトの値段であって、1トークンの値段ではない。 Oxmiqの結論は一行に収まっている。ラックにはHBM、箱にはHBF。 SanDiskは投資家説明会で3つの置き方を並べていた。HBMを補う、HBMの枠をそのまま置き換える、そして切り離してデコードの重みとKVキャッシュを持たせ、小さいHBMをキャッシュに使う。Oxmiqが残したのは3つ目に近い。HBFが引き取るのはホスト側のDRAMが持っていた分で、そこへ回すのはMoEのエキスパートとKVキャッシュだ。Oxmiqが例に挙げたKimi-K3は、重み1.56TBのうち1.45TB、93%がエキスパートの重みで、トークンごとに呼ばれるのはその一部にすぎない。 置き分けはソフトウェアの仕事になる。最大の帯域を出すには64KB単位で読み、1MB単位で書く。データはDMAで動かすので、CPUやGPUのキャッシュ階層を通らない。どの重みをHBMに残しどれをHBFへ回すかも、書き換え寿命の残りも、ホスト側が管理する。Chips and Cheeseはこれを、ホストのソフトウェアがSSDコントローラの仕事を引き受けることだと書いた。vLLMには専用の実装が要る。 その実装を出すのは、仕様を書いた2社ではない。HBMとHBFの間でデータを動かす仕組みはドライバとランタイムの層にあり、そこを持っているのはNVIDIAとAMDだ。Oxmiqの見立てでは利点が一部の用途に限られるので、メモリ階層をもう一段抱える手間を負ってまで全面的に支える理由は、両社の側に強くない。 SanDiskの直近四半期（7月3日締め）の売上は89億6,500万ドル、研究開発費は3億4,800万ドルだった。HBFが生んだ売上はまだ1ドルもない。8月13日に見せたのはダイのテープアウトで、推論製品のサンプルは2027年に置いてある。1年前の同社は、最初のHBFサンプルを2026年後半、HBFを使う推論機器を2027年前半と言っていた。 仕様を書いたもう一方はSK hynixで、こちらはHBMも売っている。ラックにHBMが残る限り、SK hynixはそこでも売る側に立つ。SanDiskはHBMを売っていない。 だから2027年のサンプルより手前に、見えるものがある。vLLMにHBF用の割り当てと配置が入るか。NVIDIAとAMDが、HBMとHBFの間のデータ移動をドライバで出すか。歩留まりも積層も耐久性の認定もSanDiskの側に残っているが、この2つが動かない限り、そこを越えても採用は広がらない。 🤘情報提供 Stock Slayer :