TwiScan
인기
커뮤니티
계정 컬렉션
로그인
회원가입
English
日本語
한국의
简体中文
繁体中文
가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.
지금 가입
Ren
@Ryrenz
AI Engineer | 分享实用 AI 工具和实战心得
가입 March 2025
696
팔로잉 중
12.1K
팬
Ren
@Ryrenz
2026.08.12 14:40
⚡ 一个二进制文件跑本地大模型,还给你 OpenAI 风格的接口 GitHub 上 5.7K stars,Rust 写的 本地跑模型最劝退的是环境:装 Python、配 CUDA、编译推理后端,一套下来两小时,换台机器再来一遍。 Shimmy 把这些压成一个单二进制:直接加载 GGUF 模型文件,起来就是 OpenAI 风格的 API 端点,原本调云端的代码改个地址就能用。2.0 版本把 llama.cpp 后端移除了,改用自研的 Airframe WebGPU 推理引擎,Rust 加 WGSL 实现。 模型覆盖上,项目列了 11 个模型家族和 25 种已认证的模型与量化组合,Q4_0、Q4_K_M、Q5_K_M、Q6_K 这些常见量化格式都在。还支持 YaRN RoPE 扩展上下文和 INT4 KV 缓存量化,显存紧张的机器能多撑一会儿。 本地推理这件事,越简单的方案活得越久。 GitHub:
더 보기
0
0
2
1
0
커뮤니티로 전달
인기 있는 사용자
New York Post
@nypost
4.3M 팬
オリコンニュース
@oricon
2M 팬
Reuters
@Reuters
26.5M 팬
TVer新着
@TVer_info
101.8K 팬
First Squawk
@FirstSquawk
579.4K 팬
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K 팬
ツイッター速報〜BreakingNews
@tweetsoku1
260.1K 팬
Bloomberg
@business
10.5M 팬
billboard
@billboard
16.9M 팬
zerohedge
@zerohedge
3.4M 팬
モデルプレス
@modelpress
2.1M 팬
ITZY
@ITZYofficial
6.6M 팬
空空道人
@Kongkongda5882
40.8K 팬
ATEEZ(에이티즈)
@ATEEZofficial
4.9M 팬
MANTANWEB/毎日キレイ
@mantanweb
68.7K 팬