Elliot Arledge
@elliotarledge
MTS @infinity_ai_
the 4 x RTX PRO 6000 Blackwell GPU guy
|
made the 12 hr CUDA course |
|
@shipfr8 alum
368 フォロー中 44.9K ファン
今話題のGLM5.3の無検閲モデルを、4x RTX PRO 6000で推論最適化しています。
投機的デコードなしで55~60tok/sくらい出てます。まだ理論値の1/4程度で、いまから僕は寝ますがDS V4.1 Flashちゃんが最適化作業を進めてくれます。
明日くらいには一旦推論エンジン公開しますね！
もっと見る
