註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

anonymous
@youyouAllen
Nothing
加入 August 2014
1.1K 正在關注    3.1K 粉絲
我看很多人把agentic os理解成cron,loop,context管理。我最近感觉更接近agentic os的是推理引擎,virtual file for page attention,kv cache状态管理,prefill/decode i/o 管理。本地模型部署。
顯示更多
刚刚刷到Hugging Face上这个gpt-oss-20b-tq3,真的有点爽啊! OpenAI自己开源的20B参数MoE模型,被社区用TurboQuant 3-bit量化 + MLX优化后,竟然能直接在普通MacBook上本地丝滑跑起来。 完全不用联网、不用交月费,还支持131K超长上下文。 日常聊天、写作、写代码这些日常需求,现在都能在自己笔记本上搞定。 非常适合公司的一些部门使用啊! 以前本地跑大模型还得配高端显卡,现在一台M系列Mac就够了。 模型直达👉
顯示更多