Register and share your invite link to earn from video plays and referrals.

Charles在路上
@Charles77xixi
00后程序员👨🏻‍💻|前大厂 Infra,目前在做 Game Agent 把 AI 真正用进项目、把工资变成资产,联系方式在个人网站 合作 📮:charles77xixi@gmail.com
Joined January 2025
330 Following    5.8K Followers
如果想真的比较模型在某个领域的能力的话(比如文中说的调研任务),实际上应该用一个更强模型来当裁判,而不是更弱的模型 以及需要构建一个包含多个case的测试集,也要看两个用来评测的模型实际的推理时间、Token消耗,还需要跑多次来减小概率导致的误差
Show more
测试了一下 Opus 5.5 和 Astra,同样的调研任务、推理强度和 skill 使用,分别独立出了两篇文档后给到同样的评判标准,GPT 和 Claude 分别都说自己的版本更好,最后交给 Deepseek 说 GPT 的更好,从我个人的观感上 Opus 5.5 在说人话上进步明显,但是在事实核查和观点推倒上存在重大缺陷
Show more