GitHubDaily
@GitHub_Daily
💡 挖掘开源的价值
🧑🏻💻 坚持分享 GitHub 上高质量、有趣、实用的教程、AI工具、前沿 AI 技术
🧐 A list cool, interesting projects of GitHub.
✏️ 公众号：GitHubDaily
加入 May 2023
205 正在关注 83K 粉丝
用 10 美元的开发板，256MB 内存，跑十亿参数的大模型，这事真有人做出来了。
PicoLM 是纯 C 写的推理程序，编译出来单个文件约 80KB 大小，零依赖，运行占 45MB 内存。
在树莓派 5 上每秒大约 10 个 Token，树莓派 4 是 8 个，十美元那块板子也有 1 个。
GitHub：
作者拿它给 PicoClaw 当本地大脑，两个凑一起就是个全程离线的 Agent，无需联网。
上下文缓存会存到磁盘，若是同一段提示词第二次跑直接跳过，作者实测快 74%。
针对 ARM 和 x86 分别做了指令级优化，注意力计算和缓存也都精简过。
想要在本地跑大模型预算又有限，可以看下这个项目有没有值得参考学习的。
显示更多
