推荐一个最近很有意思的开源项目 Strata,专门让 Qwen3.8-Flash-Next 在消费级 NVIDIA / AMD 显卡上本地运行。
它利用 MoE 的特点,把高频专家留在 GPU,其余放到内存和 CPU 协同计算,再配合推测解码。官方在 RTX 5070 12GB + 64GB RAM 上实测,部分量化版本能跑到 50–90+ token/s。
更实用的是,它直接提供 OpenAI / Anthropic 兼容接口,Claude Code、Codex 这类 Agent 工具也能直接接,本地还支持图片输入。
现在本地大模型的瓶颈,已经不只是显存够不够,而是看能不能把 GPU、内存、CPU 甚至 SSD 一起调度好。
期待本地 AI 这条路发展的越来越好。
顯示更多