Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント @snorbe_ai を作っています。 @deskrex | 著書 かんき出版『知的生産でAIを使いこなす全技法』
Joined January 2018
388 Following 2.8K Followers
GPUに入り切らないMoEモデルを動かすとき、「次の語」だけでなく「次に必要な重み」まで先読みするSpecterが面白い（
MoEは、入力ごとに一部の専門家ネットワークを選んで計算する仕組み。重みをCPU側のメモリへ置けば大きなモデルも扱えるが、必要になるたびGPUへ転送すると、その間GPUが待つ。
Specterは元モデルの専門家部分を4ビットへ量子化した軽量版で、複数の候補トークンを先に作る。同じ構造を持つので、将来どの専門家を使いそうかも予測できる。その重みを先に運び、下書きや検証の計算と転送を重ねる。
候補は元のFP16モデルで検証し、採用された部分だけ確定する。軽量版の出力を無条件で使う方式ではなく、誤った先読みは主に転送効率へ影響する。
A100 40GBを1基使った実験で、単一リクエストの出力トークン当たり時間は、比較対象のSpecMoEOffに対して平均1.50倍、最大1.88倍の高速化。モデルやメモリ条件で差があり、すべてのローカルGPUで同じ倍率が出るという結果ではない。
先読みを深くすればよいわけでもなく、候補を増やすほど必要な専門家も増える。そのため先読みの深さを事前計測で選び、キャッシュと実行順も一緒に調整している。
小さなモデルに最終判断を代行させるだけでなく、大きなモデルが待たずに働けるよう準備させる。推論の高速化をデータ転送まで含めて考える設計だと思う。
Show more
