註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

Xudong Han
@Xudong07452910
PhD ing @ University of Sussex | LLM & AI Agents 🎓 AI Agent Product Development Sharing AI tech insights DM for collab 📩 vx: hxdflying
加入 November 2020
744 正在關注    16.1K 粉絲
推荐一个最近很有意思的开源项目 Strata,专门让 Qwen3.8-Flash-Next 在消费级 NVIDIA / AMD 显卡上本地运行。 它利用 MoE 的特点,把高频专家留在 GPU,其余放到内存和 CPU 协同计算,再配合推测解码。官方在 RTX 5070 12GB + 64GB RAM 上实测,部分量化版本能跑到 50–90+ token/s。 更实用的是,它直接提供 OpenAI / Anthropic 兼容接口,Claude Code、Codex 这类 Agent 工具也能直接接,本地还支持图片输入。 现在本地大模型的瓶颈,已经不只是显存够不够,而是看能不能把 GPU、内存、CPU 甚至 SSD 一起调度好。 期待本地 AI 这条路发展的越来越好。
顯示更多