Itaru Tomita / 冨田到(@itarutomy):GPUに入り切らないMoEモデルを動かすとき、「次の語」だけでなく「次に必要な重み」まで先読みするSpecterが面白い（https://t.co/7SNIlPu9Bn）。 MoEは、入力ごとに一部の専門家ネットワークを選んで計算する仕組み。重みをCPU側のメモリへ置けば大きなモデルも扱えるが、必要になるたびGPUへ転送すると、その間GPUが待つ。 Specterは元モデルの専門家部分を4ビットへ量子化した軽量版で、複数の候補トークンを先に作る。同じ構造を持つので、将来どの専門家を使いそうかも予測できる。その重みを先に運び、下書きや検証の計算と転送を重ねる。候補は元のFP16モデルで検証し、採用された部分だけ確定する。軽量版の出力を無条件で使う方式ではなく、誤った先読みは主に転送効率へ影響する。 A100 40GBを1基使った実験で、単一リクエストの出力トークン当たり時間は、比較対象のSpecMoEOffに対して平均1.50倍、最大1.88倍の高速化。モデルやメモリ条件で差があり、すべてのローカルGPUで同じ倍率が出るという結果ではない。先読みを深くすればよいわけでもなく、候補を増やすほど必要な専門家も増える。そのため先読みの深さを事前計測で選び、キャッシュと実行順も一緒に調整している。小さなモデルに最終判断を代行させるだけでなく、大きなモデルが待たずに働けるよう準備させる。推論の高速化をデータ転送まで含めて考える設計だと思う。

2026.10.24 01:30

GPUに入り切らないMoEモデルを動かすとき、「次の語」だけでなく「次に必要な重み」まで先読みするSpecterが面白い（ MoEは、入力ごとに一部の専門家ネットワークを選んで計算する仕組み。重みをCPU側のメモリへ置けば大きなモデルも扱えるが、必要になるたびGPUへ転送すると、その間GPUが待つ。 Specterは元モデルの専門家部分を4ビットへ量子化した軽量版で、複数の候補トークンを先に作る。同じ構造を持つので、将来どの専門家を使いそうかも予測できる。その重みを先に運び、下書きや検証の計算と転送を重ねる。候補は元のFP16モデルで検証し、採用された部分だけ確定する。軽量版の出力を無条件で使う方式ではなく、誤った先読みは主に転送効率へ影響する。 A100 40GBを1基使った実験で、単一リクエストの出力トークン当たり時間は、比較対象のSpecMoEOffに対して平均1.50倍、最大1.88倍の高速化。モデルやメモリ条件で差があり、すべてのローカルGPUで同じ倍率が出るという結果ではない。先読みを深くすればよいわけでもなく、候補を増やすほど必要な専門家も増える。そのため先読みの深さを事前計測で選び、キャッシュと実行順も一緒に調整している。小さなモデルに最終判断を代行させるだけでなく、大きなモデルが待たずに働けるよう準備させる。推論の高速化をデータ転送まで含めて考える設計だと思う。