Mulight 沐光🌟 | Gate美股0费率(@Mulight):553GB的K3模型，在12GB内存的笔记本上跑起来了。三步就能复现。 GitHub上的colibri项目把K3的GGUF量化版用Docker跑在WSL2里，只给了12GB内存。553GB的权重当然塞不进内存，但它换了个思路，用mmap把权重映射到磁盘文件上，操作系统自动管理哪些页面留在RAM里。RSS停在12GB，但背后实际映射了31.7GB数据。操作很简单。模型文件放NVMe上，docker compose up -d，第一次等八分钟建权重缓存，之后每次启动0秒加载。curl发请求跟OpenAI API格式完全一样。速度不快，七分钟左右出一个回复。跑K3的门槛从64GB内存加显卡，降到了一台闲置笔记本加块NVMe。

2026.08.07 06:11

553GB的K3模型，在12GB内存的笔记本上跑起来了。三步就能复现。 GitHub上的colibri项目把K3的GGUF量化版用Docker跑在WSL2里，只给了12GB内存。553GB的权重当然塞不进内存，但它换了个思路，用mmap把权重映射到磁盘文件上，操作系统自动管理哪些页面留在RAM里。RSS停在12GB，但背后实际映射了31.7GB数据。操作很简单。模型文件放NVMe上，docker compose up -d，第一次等八分钟建权重缓存，之后每次启动0秒加载。curl发请求跟OpenAI API格式完全一样。速度不快，七分钟左右出一个回复。跑K3的门槛从64GB内存加显卡，降到了一台闲置笔记本加块NVMe。