Ren
@Ryrenz
🇺🇸 美国全栈程序员 💻
⚙️ 整理小白能懂的优质 AI 教程 📚
📢 持续挖掘实用的 AI 提效方式 🤖
💰 分享我关于投资、副业、职场的思考 🧠
📝 开源我所有的内容创作与 AI 变现经验 📈
参加 March 2025
672 フォロー中 8.3K ファン
你以为在本地跑 35B 大模型得配 4090？其实一张 6GB 的老卡就够，就靠这三点：
1、模型选 MoE 架构，35B 总参数，每次只激活 3B；
2、用 IQ2 量化，把体积压到 11GB 出头；
3、不常用的部分甩给内存和 CPU 跑，别全压显卡。
社区实测 6GB 显存跑出 30 字每秒，比 ChatGPT 免费版还快，还断网能用、隐私不外发、问什么都不拒答。
もっと見る
