註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

Ren
@Ryrenz
AI Engineer | 分享实用 AI 工具和实战心得
加入 March 2025
696 正在關注    12.1K 粉絲
📱 端侧的宝藏模型来了:SparkLLM 团队开源的 Spark-X2.6-4B,用 4B 的个头干写代码、跑 agent、啃长文档这些活,官方称在若干基准上持平甚至超过 9B 左右的模型。 Spark-X2.6-4B 在 Hugging Face 上 387 个赞,10 月 23 日上了 Hugging Face 的热门趋势,Apache 2.0 许可证。 小模型最尴尬的地方是:省资源是省了,可一碰到写代码、多步骤的 agent 任务或者长文档就掉链子,最后还是得换回大模型。Spark-X2.6-4B 架构和上一代 Spark-X2.5-4B 完全一样,提升全来自重新做的后训练,官方称编码、agent、长上下文、多语言和推理都有明显进步,推理效率和 Qwen3.5-4B、Gemma-E4B 相当或更好。 思考深度也能按需调:none、low、high 三档,简单问答直接关掉省时间,难题再开到 high。SGLang 示例里上下文配到了 1,048,576 个 token,约 100 万。部署路子也全,vLLM、SGLang、MLX、llama.cpp、Ollama、LM Studio 都覆盖了,SGLang 还给了 NVIDIA GPU 和昇腾 NPU 两套部署方式。 有一点要提前知道:旧版本工具认不出它,llama.cpp 要 b10828 以上,Ollama 要 v0.34.1 以上,LM Studio 要 0.4.0 以上;用 Transformers 跑要指定 4.57.1 版本并开启 trust_remote_code。 想要一个小个头、又不想在代码和长文上妥协的人,Spark-X2.6-4B 值得先试试。 Hugging Face:
顯示更多