가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.

Xudong Han
@Xudong07452910
🎓PhD ing @ University of Sussex | LLM & AI Agents 📖AI Agent Product Development 🛠️Sharing AI tech insights 📩DM for collab
가입 November 2020
630 팔로잉 중    12.5K 팬
Hacker News 上有一篇评论区火了的文章:Qwen 3.6 27B 是本地开发的理想选择。 核心发现是:密集参数模型、原生支持 256k 上下文,在 MacBook Max M5 上跑 Q8_0 量化版能达到 30 tokens/s,RTX 5090 上能到 50 tokens/s。 作者称它为「首个真正具备通用智能的本地模型」,以前本地模型总有木桶短板,这次用一个提示同时完成创意写作和生成六边形扫雷游戏,两件事都做得不错。 这个评价背后是一个更大的趋势:云端大模型多年打磨出的工程积累,正在开始向本地 scale down。隐私优先、延迟可控、离线可用,这三个以前要互相妥协的需求,现在开始可以同时满足。 现在「足够好的本地模型」这条线,正向我们靠近。如果 30B 级别的模型真能达到通用水准,日常开发和轻量 Agent 任务不依赖 API 调用这件事,可能比大多数人想象的近。
더 보기