GPUに入り切らないMoEモデルを動かすとき、「次の語」だけでなく「次に必要な重み」まで先読みするSpecterが面白い（ MoEは、入力ごとに一部の専門家ネットワークを選んで計算する仕組み。重みをCPU側のメモリへ置けば大きなモデルも扱えるが、必要になるたびGPUへ転送すると、その間GPUが待つ。 Specterは元モデルの専門家部分を4ビットへ量子化した軽量版で、複数の候補トークンを先に作る。同じ構造を持つので、将来どの専門家を使いそうかも予測できる。その重みを先に運び、下書きや検証の計算と転送を重ねる。 候補は元のFP16モデルで検証し、採用された部分だけ確定する。軽量版の出力を無条件で使う方式ではなく、誤った先読みは主に転送効率へ影響する。 A100 40GBを1基使った実験で、単一リクエストの出力トークン当たり時間は、比較対象のSpecMoEOffに対して平均1.50倍、最大1.88倍の高速化。モデルやメモリ条件で差があり、すべてのローカルGPUで同じ倍率が出るという結果ではない。 先読みを深くすればよいわけでもなく、候補を増やすほど必要な専門家も増える。そのため先読みの深さを事前計測で選び、キャッシュと実行順も一緒に調整している。 小さなモデルに最終判断を代行させるだけでなく、大きなモデルが待たずに働けるよう準備させる。推論の高速化をデータ転送まで含めて考える設計だと思う。

GPTs無くなる代わりに作ったアプリの開発画面。 チャットでプロンプト作ってNovelAIで画像生成を一画面化。 OpenAI APIは開発者側で負担し、NovelAI tokenは各ユーザー取得という方法で考えています。 あとはカード決済の承認が降りるかどうか。。。 #novelaiv5# #アプリ# #AIイラスト# #AIart️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️#

GPUが2年で陳腐化すると言っていた人たちは構造変化が起きていることに気付いていないため、ここ1〜2年はずっと頓珍漢な予想を出し続けますね 根本が間違っている

【GPT-5.6対応版完成しました】誰がどこで何をしているか等、自然言語で説明し辛い内容をNovelAI V5に最適化されたプロンプトに再構築するGPTsの紹介です。 #novelaiv5# #GPTs# #nsfw# #AIart️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️️# @itsuki_ailab

GPT-6 Astra でものすごい勢いでクレジット溶かしなから作ってるゲームめちゃくちゃ可愛すぎる 元は『曖昧夢-AImAIm-』の大改修リメイクのハズだったんだが別物になってる　可愛いからOK