GitHubDaily(@GitHub_Daily):用 10 美元的开发板，256MB 内存，跑十亿参数的大模型，这事真有人做出来了。 PicoLM 是纯 C 写的推理程序，编译出来单个文件约 80KB 大小，零依赖，运行占 45MB 内存。在树莓派 5 上每秒大约 10 个 Token，树莓派 4 是 8 个，十美元那块板子也有 1 个。 GitHub：https://t.co/JNjhz8Bwy9 作者拿它给 PicoClaw 当本地大脑，两个凑一起就是个全程离线的 Agent，无需联网。上下文缓存会存到磁盘，若是同一段提示词第二次跑直接跳过，作者实测快 74%。针对 ARM 和 x86 分别做了指令级优化，注意力计算和缓存也都精简过。想要在本地跑大模型预算又有限，可以看下这个项目有没有值得参考学习的。

2026.07.31 13:30

用 10 美元的开发板，256MB 内存，跑十亿参数的大模型，这事真有人做出来了。 PicoLM 是纯 C 写的推理程序，编译出来单个文件约 80KB 大小，零依赖，运行占 45MB 内存。在树莓派 5 上每秒大约 10 个 Token，树莓派 4 是 8 个，十美元那块板子也有 1 个。 GitHub：作者拿它给 PicoClaw 当本地大脑，两个凑一起就是个全程离线的 Agent，无需联网。上下文缓存会存到磁盘，若是同一段提示词第二次跑直接跳过，作者实测快 74%。针对 ARM 和 x86 分别做了指令级优化，注意力计算和缓存也都精简过。想要在本地跑大模型预算又有限，可以看下这个项目有没有值得参考学习的。