註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

Gorden Sun
@Gorden_Sun
只发AI相关信息,个人维护的AI资讯日报(已连续日更3年)👇
加入 August 2013
1.8K 正在關注    69.3K 粉絲
Strata:12G显存就能跑千亿参数的模型 在12GB显存的普通电脑上,本地运行125B参数的Qwen3.8-Flash-Next模型。Strata把最常用的专家模型常驻在显卡,全量模型放在内存,由显卡、内存和固态硬盘协同完成推理与投机采样。 这个项目堪称超神,12G显存+64G内存可以跑Qwen3.8-Flash-Next全版本的模型,即使32G内存也能跑Coder版本的模型。Qwen3.8-Flash-Next能力不差,重复性日常任务都能完成。 Github:
顯示更多