本地运行 DeepSeek-V4-Flash-0731 正式版,真没想象中贵。
你只需要准备这三样东西:
1.一台 1 万出头的 AI 主机
不用机房,放家里就能跑。
2.一张 3080
预填充约 250 tok/s,生成约 14.23 tok/s。
3.约 151 GiB 的模型
跑的是 Unsloth UD-Q8_K_XL,号称无损量化版。
换成 2080 Ti,生成也有 12.26 tok/s。
加到两张 3080,生成反而只有 13.98 tok/s,还没一张快。
整套成本大概 1 万出头。模型已经跑起来了,双卡还得继续调。
顯示更多