Hikari∣LocalLLM⚡
@Hikari_07_jp
what happens if you actually own the silicon?
For work inquiries, please send a direct message.
加入 April 2026
2K 正在關注 18.2K 粉絲
今話題のGLM5.3の無検閲モデルを、4x RTX PRO 6000で推論最適化しています。
投機的デコードなしで55~60tok/sくらい出てます。まだ理論値の1/4程度で、いまから僕は寝ますがDS V4.1 Flashちゃんが最適化作業を進めてくれます。
明日くらいには一旦推論エンジン公開しますね！
顯示更多
