Oldeng(@dengdry):一篇研究翻了 60 个语言模型基准，发现近一半已经快“测不出差别”了：模型分数都很高，榜单再涨也未必说明它更会干活。对开发者来说，拿一套老题测出的高分，可能只是模型越来越熟悉出题方式。论文发现，专家持续设计题目与基准更不容易失效有关；测试集是否公开反而不是关键因素。但这只是对基准特征的系统分析，不等于新题就一定更接近真实工作。至少以后看模型榜单，先问一句：这套题还有没有区分度？

2026.08.05 11:05

一篇研究翻了 60 个语言模型基准，发现近一半已经快“测不出差别”了：模型分数都很高，榜单再涨也未必说明它更会干活。对开发者来说，拿一套老题测出的高分，可能只是模型越来越熟悉出题方式。论文发现，专家持续设计题目与基准更不容易失效有关；测试集是否公开反而不是关键因素。但这只是对基准特征的系统分析，不等于新题就一定更接近真实工作。至少以后看模型榜单，先问一句：这套题还有没有区分度？