注册并分享邀请链接,可获得视频播放与邀请奖励。

Vincent
@Vincent_AINotes
AI
加入 November 2024
363 正在关注    58.5K 粉丝
本地运行 DeepSeek-V4-Flash-0731 正式版,真没想象中贵。 你只需要准备这三样东西: 1.一台 1 万出头的 AI 主机 不用机房,放家里就能跑。 2.一张 3080 预填充约 250 tok/s,生成约 14.23 tok/s。 3.约 151 GiB 的模型 跑的是 Unsloth UD-Q8_K_XL,号称无损量化版。 换成 2080 Ti,生成也有 12.26 tok/s。 加到两张 3080,生成反而只有 13.98 tok/s,还没一张快。 整套成本大概 1 万出头。模型已经跑起来了,双卡还得继续调。
显示更多
0
18
72
3
转发到社区