Speculative Decodingが速い理由は計算量が減るからではなく、GPUの仕事の性質が変わるからだ、という記事。観点が面白かった。 ・Speculative Decodingが速いのは少ない計算で済むからではない ・速さの理由は、GPUが待っている時間を有効に使えるようになるから ・通常のデコーディングは1トークンずつ生成する ・この状態ではメモリの読み込み待ちが支配的（メモリバウンド） ・GPUの計算能力の大半は遊んでいる ・Speculative Decodingでは、小さいモデルが複数トークンの草案をまとめて出す ・大きいモデルはその草案を1ステップで並列に検証する ・これでメモリバウンドからコンピュートバウンドに寄り、遊んでいた計算能力を使える ・ただ、バッチサイズが大きいと話が変わる ・GPUに空きがなく、拒否された草案のトークンは純粋なオーバーヘッドになる ・vLLMにはバッチサイズに応じてSpeculative Decodingを自動で無効化する機能がある

ふう〜 私のきったないメモで 読み取れるレポはこれくらいかなぁ😅 自分でも何書いてあるか判別不能な箇所多数！！🤣 #TOKYOBURST犯罪都市内田英治監督トークショー#

これいいわ…タブレットの使ってないスペースにこれはっつけてメモ代わりにしよう。作業予定とかかいてたのこっちにうつせるやん！ wemo パッドタイプ ver.2 繰り返しメモできるふせん パステルブルー（2枚入） #Amazon# @Amazonより

駅メモ！の10周年オフラインイベント 「Memories Fan Meeting 2025」昼の部に出演させていただきました！ マスターたちのお顔が直接見れて嬉しかったです☺︎ これからもしいらちゃんをよろしくお願い致します🤍 そして今日ずっと一緒にいたとみたさん #駅メモ#