Gorden Sun
@Gorden_Sun
只发AI相关信息，个人维护的AI资讯日报（已连续日更3年）👇
加入 August 2013
1.8K 正在关注 69.3K 粉丝
Strata：12G显存就能跑千亿参数的模型
在12GB显存的普通电脑上，本地运行125B参数的Qwen3.8-Flash-Next模型。Strata把最常用的专家模型常驻在显卡，全量模型放在内存，由显卡、内存和固态硬盘协同完成推理与投机采样。
这个项目堪称超神，12G显存+64G内存可以跑Qwen3.8-Flash-Next全版本的模型，即使32G内存也能跑Coder版本的模型。Qwen3.8-Flash-Next能力不差，重复性日常任务都能完成。
Github：
显示更多
