iwashi / Yoshimasa Iwase(@iwashi86):Speculative Decodingが速い理由は計算量が減るからではなく、GPUの仕事の性質が変わるからだ、という記事。観点が面白かった。・Speculative Decodingが速いのは少ない計算で済むからではない・速さの理由は、GPUが待っている時間を有効に使えるようになるから・通常のデコーディングは1トークンずつ生成する・この状態ではメモリの読み込み待ちが支配的（メモリバウンド）・GPUの計算能力の大半は遊んでいる・Speculative Decodingでは、小さいモデルが複数トークンの草案をまとめて出す・大きいモデルはその草案を1ステップで並列に検証する・これでメモリバウンドからコンピュートバウンドに寄り、遊んでいた計算能力を使える・ただ、バッチサイズが大きいと話が変わる・GPUに空きがなく、拒否された草案のトークンは純粋なオーバーヘッドになる・vLLMにはバッチサイズに応じてSpeculative Decodingを自動で無効化する機能がある

iwashi / Yoshimasa Iwase

@iwashi86

NTTドコモビジネスでEM(育休中)。その他、早稲田大で非常勤講師、#fukabori#.fmの中の人、書籍翻訳者。 AI、マネジメント、Dev、PdM、Agile、HRに関する個人メモをポストしています。発言は個人の見解であり、所属する組織の公式見解ではありません。 Amazonアソシエイト・プログラム参加者。

Joined May 2009

700 Following 20.9K Followers

iwashi / Yoshimasa Iwase@iwashi86

2026.10.23 05:30

Speculative Decodingが速い理由は計算量が減るからではなく、GPUの仕事の性質が変わるからだ、という記事。観点が面白かった。・Speculative Decodingが速いのは少ない計算で済むからではない・速さの理由は、GPUが待っている時間を有効に使えるようになるから・通常のデコーディングは1トークンずつ生成する・この状態ではメモリの読み込み待ちが支配的（メモリバウンド）・GPUの計算能力の大半は遊んでいる・Speculative Decodingでは、小さいモデルが複数トークンの草案をまとめて出す・大きいモデルはその草案を1ステップで並列に検証する・これでメモリバウンドからコンピュートバウンドに寄り、遊んでいた計算能力を使える・ただ、バッチサイズが大きいと話が変わる・GPUに空きがなく、拒否された草案のトークンは純粋なオーバーヘッドになる・vLLMにはバッチサイズに応じてSpeculative Decodingを自動で無効化する機能がある

Forward to community