小墨同学
@xiaomovps
🚀 Pi 深度玩家 | 实操+分享
🧠 AI Spark 联合创始人｜企业 + AI
🌐 Pi 蓝皮书的作者 |
联系合作 wx：lucky_bobe
参加 September 2022
421 フォロー中 11.7K ファン
Jev 和开源本地大模型到底哪个更强？🔥
肯定很多人有这个疑问，我就直接在本地部署了 Laya 模型，做一个系统性的测试
先说结果：准确率方面Jev 完胜，速度方面 Laya 模型完胜
我设计了 100 条真实事件场景去做测试，因为 Laya模型只支持英文，所以对应的内容都是用英文去处理的，我设计的场景就是火星救援
1、整体设计的场景是多方面的 通过这两个模型判断紧急程度和事件处理方案的正确性
2、整体通过率都是百分之百 但是正确率本地模型只有 57% 左右，Jev 模型对事件的判断率能达到百分之百
3、在整体速度延迟方面 因为有网络因素 所以本地模型延迟最优，Jev 模型慢一些
4、模型量级方面 Laya模型只有 421M，对接 EV 模型的话是相对较小的 在很小的内存上就可以运行 而且支持 Mac M 系列的芯片
整体测试下来 让我感到惊喜的就是准确率，Jev 模型我其实在本地循环测试了将近 500 条到 1000 条的数据 准确率都可以达到 100%
而且我用 GPT6 去做了复核 数据准确性也可以达到 99%，说明在最基本的事件处理和判断上 JEV 模型还是遥遥领先的地位
后面我也会尝试把它部署到其他流程当中 比如 computer use 操作电脑的时候，具体效果有没有更加出色
もっと見る
Jev 发布没几天，开源社区已经开始疯狂复刻了🔥
最值得推荐的五个模型：
1、Laya 421M：原生决策模型，支持 Mac
2、Decider-2B：最像 Jev，基于 Qwen3.5
3、NanoJev 0.6B：专门的 Decision Head
4、Reflex：Qwen3.5 + Direct Logits
5、System-One 4B：专门做概率校准
如果和我一样是苹果的芯片，我推荐： Laya 和 Reflex
下一步我准备选两个在本地运行 然后测试一下和Jev的差距
もっと見る
