Speculative Decodingが速い理由は計算量が減るからではなく、GPUの仕事の性質が変わるからだ、という記事。観点が面白かった。 ・Speculative Decodingが速いのは少ない計算で済むからではない ・速さの理由は、GPUが待っている時間を有効に使えるようになるから ・通常のデコーディングは1トークンずつ生成する ・この状態ではメモリの読み込み待ちが支配的（メモリバウンド） ・GPUの計算能力の大半は遊んでいる ・Speculative Decodingでは、小さいモデルが複数トークンの草案をまとめて出す ・大きいモデルはその草案を1ステップで並列に検証する ・これでメモリバウンドからコンピュートバウンドに寄り、遊んでいた計算能力を使える ・ただ、バッチサイズが大きいと話が変わる ・GPUに空きがなく、拒否された草案のトークンは純粋なオーバーヘッドになる ・vLLMにはバッチサイズに応じてSpeculative Decodingを自動で無効化する機能がある