TwiScan
Hot
Communities
Account collections
Login
Register
English
日本語
한국의
简体中文
繁体中文
Register and share your invite link to earn from video plays and referrals.
Register now
GitHubDaily
@GitHub_Daily
💡 挖掘开源的价值 🧑🏻💻 坚持分享 GitHub 上高质量、有趣、实用的教程、AI工具、前沿 AI 技术 🧐 A list cool, interesting projects of GitHub. ✏️ 公众号:GitHubDaily
Joined May 2023
209
Following
90.8K
Followers
GitHubDaily
@GitHub_Daily
2026.07.31 13:30
用 10 美元的开发板,256MB 内存,跑十亿参数的大模型,这事真有人做出来了。 PicoLM 是纯 C 写的推理程序,编译出来单个文件约 80KB 大小,零依赖,运行占 45MB 内存。 在树莓派 5 上每秒大约 10 个 Token,树莓派 4 是 8 个,十美元那块板子也有 1 个。 GitHub: 作者拿它给 PicoClaw 当本地大脑,两个凑一起就是个全程离线的 Agent,无需联网。 上下文缓存会存到磁盘,若是同一段提示词第二次跑直接跳过,作者实测快 74%。 针对 ARM 和 x86 分别做了指令级优化,注意力计算和缓存也都精简过。 想要在本地跑大模型预算又有限,可以看下这个项目有没有值得参考学习的。
Show more
0
0
1
14
0
Forward to community
Most Popular Users
Tibo
@thsottiaux
1M Followers
FinancialJuice
@financialjuice
959K Followers
First Squawk
@FirstSquawk
579.6K Followers
Binance Wallet
@BinanceWallet
2.8M Followers
Serenity
@aleabitoreddit
1.1M Followers
LiveSquawk
@LiveSquawk
504.2K Followers
Binance
@binance
16.1M Followers
CNBC
@CNBC
6.3M Followers
ClaudeDevs
@ClaudeDevs
830.7K Followers
Seeking Alpha
@SeekingAlpha
348.2K Followers
New York Post
@nypost
4.3M Followers
The Wall Street Journal
@WSJ
22.3M Followers
TheStreet
@TheStreet
1.2M Followers
Boris Cherny
@bcherny
640.9K Followers
Thariq
@trq212
404.2K Followers