🚨突发！DeepSeek V4.1 Pro疑似已经开始灰度，实测能力暴涨！ 昨天DeepSeek服务突然中断，恢复之后，陆续有不少用户反馈V4 Pro的使用体验出现了明显变化。 我在LobeHub的私有评测集LobeBench Hard 50上，也检测到了非常明显的能力提升。 目前DeepSeek官网的V4 Pro，已经大幅超越此前的0813版本。 看下具体的成绩： 当前V4 Pro：64%，50道题通过32道，排名国产第一。 V4 Pro 0813：48%，50道题通过24道，排名第13。 直接提升了16个百分点，足足多通过了8道Hard级别的任务。 如果只看三次尝试中至少成功一次的比例，两个版本分别是82%和80%，差距其实很小。 真正拉开差距的是连续三次成功完成任务的能力。 顺道解释一下我们 @lobehub 这套私有评测主要考察模型在真实复杂Agent场景下，理解任务、调用工具、持续执行并最终完成工作的能力。 这次成绩变化，意味着当前版本在复杂任务上的执行稳定性有了非常明显的提升。 从实测结果来看，当前V4 Pro的能力确实已经发生了明显变化。

鉴于 DS V4.1 Flash 模型在性能、费用、速度、总用时等各项指标上都全面超越了 V4 Pro。再以更高的价格、更慢的速度和更多的算力消耗给 DS 用户提供原有的性能较差的 V4 Pro 模型会不太合适。V4.1 Flash 正式上线之后，V4.1 Pro 上线之前，V4 Pro 模型的请求都会被路由到 V4.1 Flash，并按 Flash 的价格计费。

看到今天AA连夜改index对应的benchmark，想到前两天和 @CyouSakura 聊到的。不过以下都是我的个人观点： 1. build一个bmk很大程度依赖taste，集成一堆bmk也是一样。这次AA被打脸的深层原因就是显然AA和OAI的taste有巨大的gap。具体来说，有的人可能觉得语音模型重要，有的人可能觉得模型需要有cu能力，有的人可能觉得任何的东西都可以被coding agent覆盖。不管是数据公司还是众包团队在造一个benchmark的时候，都是bet这个方向是一个promising的下一个方向，AA也是一样，AA index无非就是AA认为最重要的几个能力，通过一定的权重加和得到的，也就是AA的taste。只能说人家都要AGI了你还搁这儿玛卡巴卡（没错说的就是你GPQA） 2. 以bmk为导向其实并没什么错，错的是overfit到极少数的bmk。本身LLM很大程度上是“崎岖的智能”，如果存在足够多的bmk来观测，我认为几乎不会有人会说刷榜这件事了。不过目前的一个问题似乎是没有足够多高质量的bmk，你能想象critpt scicode ALE这些bmk都有bug么。另一个问题是目前的感觉不像是有足够多的bmk，然后我们一次把它们都刷完了；更像是一个domain刷完了，看看OA两家最近在刷什么榜，我们也去造那个domain的bmk然后刷。总而言之，如果大模型厂商内部如果有足够多高质量的bmk来观测+刷，这应该不太会是问题。 3. bmk在今天仍然是不可或缺的&充满human bias的。前面说到需要有足够多高质量的bmk，很显然让人容易联想到让agent来scale&build bmk。不过目前还不太可行。我认为判断&发现模型的弱点依赖于taste以及verification的能力，比较显然的是现在的LLM不太具有这样的能力，比如可以试试让他给你十个能得test of time 的idea。anthropic也写过一个相关的blog： @ZimingLiu11 的播客上提到过这件事情，以及他们想通过做一个meta model来让模型拥有一些sense/taste，eg判断一个训练的curve走势。本质上是同一件事。所以目前看来，RSI中的一个大断点就是taste，因为归根结底，目前的work都是在一个bmk上自提升，这太narrow了。一个朴素的想法是，模型可以提出各种各样的榜单，然后优化自己在榜单上的分数，这可能是一个弱化版的RSI。

今天有个多模态转架构的男孩发信息跟我说这是他成年以来最好的夏天。 这一年他把多模态的刷榜任务全推了，转头扎进了预训练架构洗数据洗到吐的日子结束了，他每天琢磨的是 block 怎么堆、权重怎么复用。上周 Astra 的消息漏了出来，OpenAI 藏了一年的新模型用的是 loop transformer，推理不靠显式 CoT，靠把同一组权重循环几十轮，在 latent space 里把事情想完同样的 FLOPs，把参数比它大一倍的模型按在地上摩擦。 半年前字节那篇被全组翻出来逐字逐句研读。当年劝他别去的人，现在在问架构组还招不招人。 昨天在中关村创业大街散步，所有人突然停下手边的事，互相拥抱，喝彩欢呼。他说很开心，有种research 黄金时代的错觉。

训练模型，要和光同尘，心中装的是九州万方 训大模型，要三思，思进，思危，思退！ 我有一计，改训为蒸，上利公司，下利你们，我就不明白，这天大的好事，怎么就推行不下去？ 搅吧，搅吧，你们就搅吧！搅得基模组前方蒸馏没了 API，没了数据；搅得 loss 曲线大乱，把 AGI 丢了，老子无非陪你们一起喝西北风就是。

🚨离谱，网上一批所谓的 GPT Astra 实测，可能压根测的就是 DeepSeek Pro？？ @TokenGremlin 今天发帖指出，很多被海外社区拿来展示 Astra 能力的游戏、工程 Demo，其实能直接在 B 站搜到对应的 DeepSeek Pro 测试视频。 链路大概是： 国内用户用 DeepSeek Pro 做 Demo → 视频被搬运、裁切 → 模型信息丢失 → 海外账号重新发出来 → 评论区开始感叹“GPT Astra 太强了” 甚至他说，大家现在看到的大量 Astra “实测结果”，源头都可以追到这个中国视频平台。 目前这只能算他对素材来源的追踪，不能证明所有 Astra 测试都是假的。 但这个乌龙确实很 AI 时代： DeepSeek 在国内跑了个 Demo，绕地球一圈，回来成了 OpenAI 新模型的 Benchmark。 PS：目前我没找到真实的case。

没去过业界，现在一直好奇像kimi智谱这样大模型厂商在正式预训练的模型大规模训练的时候，可以有空出来的节点去做天马行空的取自研究论文的技术前瞻验证和消融实验吗？毕竟模型厂商的GPU也有限。K3 技术报告里kda里很多组件像上下采样投影门控都做过许多消融尝试，glm5之前也尝试过线性注意力的门路🤔