TwiScan
인기
커뮤니티
계정 컬렉션
로그인
회원가입
English
日本語
한국의
简体中文
繁体中文
가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.
지금 가입
Gorden Sun
@Gorden_Sun
只发AI相关信息,个人维护的AI资讯日报(已连续日更3年)👇
가입 August 2013
1.8K
팔로잉 중
70.4K
팬
Gorden Sun
@Gorden_Sun
2026.11.12 02:17
Edge0:只用2.5GB内存,在电脑和手机本地运行35B MoE模型 Edge0-AI团队开源edge0-infer推理引擎,平时把模型文件存放在固态硬盘里,通过预先训练好的路由模块提前预测下一步要调用的模块,在计算当前内容的同时后台提前把所需数据从硬盘读进内存。 这个方法太巧妙了,因为35B的MoE模型实际激活只有3B,所以提前预测要激活的3B,把对应的模块放到内存即可。 16GB内存的Mac电脑、iPhone17 Pro Max手机、安卓手机以及普通Windows电脑都能流畅运行35B的MoE模型。运行时设备内存占用稳定在2.5GB到3.4GB左右,在苹果M5芯片上每秒能生成约25个token,在手机上每秒也能输出11到13个token。 GitHub:
더 보기
0
0
37
22
3
커뮤니티로 전달
인기 있는 사용자
New York Post
@nypost
4.3M 팬
オリコンニュース
@oricon
2M 팬
Bloomberg
@business
10.5M 팬
Reuters
@Reuters
26.5M 팬
TVer新着
@TVer_info
101.8K 팬
ツイッター速報〜BreakingNews
@tweetsoku1
259.8K 팬
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K 팬
billboard
@billboard
16.8M 팬
First Squawk
@FirstSquawk
579.6K 팬
吴说区块链
@wublockchain12
183K 팬
i-dle (아이들)
@official_i_dle
2.3M 팬
zerohedge
@zerohedge
3.4M 팬
ITZY
@ITZYofficial
6.6M 팬
tripleS official
@triplescosmos
234.2K 팬
ATEEZ(에이티즈)
@ATEEZofficial
4.9M 팬