注册并分享邀请链接,可获得视频播放与邀请奖励。

黄小木
@ai_xiaomu
👨‍💻 5 * Dgx Spark 玩家,本地越狱大模型爱好者。 💼 分享 AIGC 经验,AI小白教程,AI落地案例。 👭 个人主页:
加入 July 2017
650 正在关注    57.7K 粉丝
团队评估新模型,不要只看官方 benchmark。 更靠谱的是自己做一个小测试集: 10 个真实 bug 10 个真实需求 5 个历史踩坑案例 5 个边界场景 3 个需要调用工具的长任务 然后看 4 个结果: 能不能完成 要花多少 token 失败后会不会自救 输出能不能被人快速验收 这比看一堆跑分更接近真实生产力。
显示更多