Xudong Han(@Xudong07452910):2.78T 参数的 Kimi K3，居然真的在一台 64GB MacBook 上跑起来了！虽然速度只有约 0.5 Token/s，一句简短回答也要等半分钟，但我还是觉得 WASTE 这个项目很有意思。前几天我刚写过 Unsloth 通过量化，把 Kimi、DeepSeek 这类超大模型搬到本地。WASTE 又往前走了一步：它不要求全部权重常驻内存。 K3 是 MoE 模型，每个 Token 只会激活约 4% 的参数。WASTE 把主干留在内存里，把专家权重放在 NVMe 硬盘上，需要哪个就实时读取，再用剩余内存做缓存。完整架构经过量化后仍有 982GB，但实际运行只需要 64GB 左右的内存。这意味着，超大模型本地部署的重点，正在从「能不能把全部参数塞进内存」，转向「能不能让当前需要的权重及时到达」。现在它还远谈不上实用，但已经证明了一件事：决定本地模型上限的，除了显存和内存，还有 SSD 带宽、稀疏激活和缓存调度。开放权重只是第一步。量化、推理引擎和硬件协同，才决定这些模型最终能不能真正留在我们自己的机器上。项目链接：

2026.08.01 01:30

2.78T 参数的 Kimi K3，居然真的在一台 64GB MacBook 上跑起来了！虽然速度只有约 0.5 Token/s，一句简短回答也要等半分钟，但我还是觉得 WASTE 这个项目很有意思。前几天我刚写过 Unsloth 通过量化，把 Kimi、DeepSeek 这类超大模型搬到本地。WASTE 又往前走了一步：它不要求全部权重常驻内存。 K3 是 MoE 模型，每个 Token 只会激活约 4% 的参数。WASTE 把主干留在内存里，把专家权重放在 NVMe 硬盘上，需要哪个就实时读取，再用剩余内存做缓存。完整架构经过量化后仍有 982GB，但实际运行只需要 64GB 左右的内存。这意味着，超大模型本地部署的重点，正在从「能不能把全部参数塞进内存」，转向「能不能让当前需要的权重及时到达」。现在它还远谈不上实用，但已经证明了一件事：决定本地模型上限的，除了显存和内存，还有 SSD 带宽、稀疏激活和缓存调度。开放权重只是第一步。量化、推理引擎和硬件协同，才决定这些模型最终能不能真正留在我们自己的机器上。项目链接：

显示更多