Ren
@Ryrenz
🇺🇸 美国全栈程序员 💻
⚙️ 整理小白能懂的优质 AI 教程 📚
📢 持续挖掘实用的 AI 提效方式 🤖
💰 分享我关于投资、副业、职场的思考 🧠
📝 开源我所有的内容创作与 AI 变现经验 📈
가입 March 2025
672 팔로잉 중 8.3K 팬
你以为在本地跑 35B 大模型得配 4090？其实一张 6GB 的老卡就够，就靠这三点：
1、模型选 MoE 架构，35B 总参数，每次只激活 3B；
2、用 IQ2 量化，把体积压到 11GB 出头；
3、不常用的部分甩给内存和 CPU 跑，别全压显卡。
社区实测 6GB 显存跑出 30 字每秒，比 ChatGPT 免费版还快，还断网能用、隐私不外发、问什么都不拒答。
더 보기
