铁锤人
@lxfater
我在用 AI 协助我创业， 维护 3w star 项目，写过 1200w 浏览文章，商务联系： 微信：tiechuiren101，邮件：lxfater@gmail.com
가입 January 2012
1.4K 팔로잉 중 108K 팬
两张老 V100，也能在本地跑 3210 亿参数的 GLM-5.3-Flash！！
这个开源项目叫 Project Maya。
前几天我写过，12GB 显存 + 64GB 内存，用 Strata 就能跑千问的千亿模型。
这次 Maya 也是基于 Strata 做的，把引擎改成了适配 GLM。
作者实测：
2 张 V100 32GB + 约 32GB 内存 + NVMe SSD，
生成速度最高 40 token/s。
原理还是把常用的模型专家放显存，其他的分散到内存和 SSD，按需调进来。
默认用约 90GB 的 Maya-S 量化模型。
自带网页聊天、图片理解，还兼容 OpenAI / Anthropic API，可以接编程 Agent，
全程本地运行。
目前支持 Linux，Windows / WSL2 还不支持。
有这套硬件、想在本地跑 GLM 的可以看看：
더 보기
