注册并分享邀请链接,可获得视频播放与邀请奖励。

Ren
@Ryrenz
AI Engineer | 分享实用 AI 工具和实战心得
加入 March 2025
689 正在关注    11.5K 粉丝
👁️ 一个 35B 的多模态模型,现在能直接装进手机里看图、看视频,MiniCPM-V 4.7 的 35B-A3B 版本把这件事做成了。 MiniCPM-V 4.7 在 Hugging Face 上拿了 1033 个赞,10 月 19 日上了 Hugging Face 的热门趋势,Apache 2.0 许可证。 以前想在手机或者边缘设备上跑多模态模型,基本只能挑 1B、2B 这种小个子,看图能说个大概,细节一问就露怯;想要 30B 这个级别的理解力,就得把图片传到服务器上去。35B-A3B 是这个系列第一个混合专家模型,每次只激活一小部分专家,开发团队称它是第一个能在设备端流畅跑起来、又不掉性能的开源 MoE 模型,靠的是一套叫 Lookahead Expert Scheduling 的专家调度、分层量化和 DSpark 推测采样。官方给的数字是在 iPhone 17 Pro Max 上约 3GB 内存、每秒 13 个 token 以上的解码速度。 视觉这头的省法也直接:沿用 LLaVA-UHD v4 的思路,在视觉编码器内部就把视觉 token 提前压掉,混合压缩比有 4 倍和 16 倍两档,所以单图、多图到视频都吃得下。开发团队自己测的结果里,Instruct 模式下它比 Qwen3.6 35B-A3B 用更短的推理时间拿到了更高的综合得分。 落地这块也没为难人:iOS、Android、鸿蒙都能部署,Rockchip、Intel、AMD、Arm 这几家芯片平台都做了支持;SGLang、vLLM、llama.cpp、Ollama 这些推理框架都能直接用,权重给了 BF16 和 GGUF,另外还有 AWQ、GPTQ、FP8 几种量化版,GGUF 那份能走 CPU 推理。嫌 35B 还是大的,同一批还放了一个 1B 的版本。 多模态模型过去是云上的事,现在开始往手机里挪了。 Hugging Face:
显示更多