TwiScan
인기
커뮤니티
계정 컬렉션
로그인
회원가입
English
日本語
한국의
简体中文
繁体中文
가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.
지금 가입
Ren
@Ryrenz
AI Engineer | 分享实用 AI 工具和实战心得
가입 March 2025
696
팔로잉 중
12.1K
팬
Ren
@Ryrenz
2026.10.05 11:09
📲 绝了,Swiftlet 能让一个 350 亿参数的大模型跑在 iPhone 上,还只吃 2.5GB 内存。 它是给 Qwen3-Next 和 Qwen3.5/3.6 这一家 MoE 混合模型写的 Swift + Metal 运行时,macOS 14 以上、iOS 17 以上的 Apple Silicon 设备都能跑,Apache 2.0 开源,35B 那个模型已经能通过 App Store 上的 Priv AI 在 iPhone 上直接用。 本地跑大模型最劝退的从来不是硬盘,是内存——模型多大就得占多少,一台 16GB 的机器基本就和几百亿参数的模型无缘了。Swiftlet 换了个打法:常驻内存的只有那一小块密集核心,路由到的专家权重按需从硬盘流式读进来。所以 80B 的模型磁盘占 42GB,峰值内存只有 4.3GB;35B 的占 18GB,峰值 2.6GB。 速度也给了实测数字:M5 的 Mac 上 35B 大概 7 到 11 tok/s,M4 Max 能到 19.5,最基础那台 16GB 的 M1 也有 2.45,iPhone 17 上 1 tok/s 左右。整个运行时大概一万行 Swift 和 Metal 代码。 手里那台内存不够的旧机器,可能还没到退休的时候。 GitHub:
더 보기
0
0
2
4
1
커뮤니티로 전달
인기 있는 사용자
New York Post
@nypost
4.3M 팬
オリコンニュース
@oricon
2M 팬
Reuters
@Reuters
26.5M 팬
TVer新着
@TVer_info
101.8K 팬
First Squawk
@FirstSquawk
579.4K 팬
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K 팬
ツイッター速報〜BreakingNews
@tweetsoku1
260.1K 팬
Bloomberg
@business
10.5M 팬
billboard
@billboard
16.9M 팬
zerohedge
@zerohedge
3.4M 팬
モデルプレス
@modelpress
2.1M 팬
ITZY
@ITZYofficial
6.6M 팬
空空道人
@Kongkongda5882
40.8K 팬
MANTANWEB/毎日キレイ
@mantanweb
68.7K 팬
Yahoo!ニュース
@YahooNewsTopics
2.1M 팬