没想到 Sonnet 5 的争议那么大 因为更换了新的 tokenizer，Sonnet 5 的实际费用和 Opus 4.8 差不多 Sonnet 在金融领域是最佳模型，比如 GDPeval，比如投资调研之类的工作，且更喜欢调用工具核查事实，能提高报告的准确性。（相应的费用也up） Sonnet 5 有个小坑，用来编程的话，费用可能超过 Opus 4.8 ，这也是大家吐槽最多的点，需要特别注意下 Opus4.8 在复杂编程和规划方面非常强，且 HTML 设计方面很强，不过写作方面不如 Opus 4.6，且新的 tokenizer 花费也比 4.6 要多，目前来说和 GPT 5.5 各有千秋 编程方面目前首选还是 GPT 5.5 Sonnet 5 、Opus 4.8、GPT 5.5 现已上线 Cola，欢迎体验

更新： 社区已经发现Arena上的出现的两款匿名模型了Kibitz和Kalmia， @aitrackerbot 通过tokenizer测试，发现Kibitz的特征指向 @Kimi_Moonshot ，Kalmia则疑似来自 @Alibaba_Qwen 。 那我也补充一点，我能确认的是：K3.1和Qwen4都即将发布，目前已经进入了最后阶段（线上匿名测试）。 前两天，两家的eval团队都在库库跑bench，现在上了Arena基本马上要发了～ 应该很快就有新东西可以玩了（本周内）。

想彻底搞懂 ChatGPT 是怎么炼出来的？这个 Deep Dive 别错过。 一条清晰的路径，从数据一路讲到落地： 数据 → tokenizer → 预训练 → 微调 → 推理 → 能力边界 → 产品工程。 训练流程、系统组件、工程取舍，一条线连起来看。 想从原理走到落地的，收藏👇

GPT 5.5 还是那么热爱偷懒 注：以下文字由 Typeless 整理。 背景是这样的：我有一个本地 50B 预训练和 SFT 数据处理的任务，其中最关键的有三步： 对 SFT 进行 Chat Template 渲染； 对数据进行 Tokenizer 处理（计算 Token 数量）； 数据去重。 这三项任务如果直接用 Python 加上一些默认库，处理速度会比较慢。而且我家里没有分布式环境，只有一台普通的电脑。我希望处理 50 B Tokens（大概有上百 GB ）的数据时能很快完成，于是就让 Pi+GPT 帮我写个工具去做处理。 最开始，我让他处理 1 万条数据，花了 40 多秒；我让他优化，处理 10 万条数据时降到了 30 秒。最后我给了他 50 万条（大约 1.5 GB）的数据，要求也优化到 30 秒以内。 前面还好，直到最后处理 50 万条数据时，他发现无论如何都优化不过去了。但他又不想去修改或定制化 Rust 的 Tokenizer 代码，就开始偷懒了： 1. **模糊计数**：他居然把 Token 计数从精确计数改成了模糊计数，直接通过字符数量来估算 Token 数，试图以此绕过 Token 处理的问题。被我发现后，我纠正了他。 2. **利用缓存**：因为我测试时是用同一批数据反复测，他就把之前的结果缓存起来，第二次测的时候速度就飞快。 简直是各种偷懒，好在我让他写了日志。我从日志里发现他的偷懒行为后指正了他，并要求他修改 Rust 代码。 最终，他虽然做了一些修改，但依然没动 Rust 的核心代码，只是做了一些外围调整。比如，原来的 Tokenizer 是返回所有的 Token 列表，但因为我们只需要总数，他改成了只返回数量。这样就避免了大规模的内存拷贝，性能确实提高了很多。此外，他还做了一些并发之类的调整。 总的来说，GPT 的格局很低，你不逼他动，他真的是不想动。这样GPT 应用在loop 里就很难受，你必须给他设置很多规则。

发现一个开源小模型，在GitHub上已经斩获 5w star，还登上了Trending榜单。 用它可以让你只用3块钱、花两个小时，就能训练出一个仅有25.8M参数的超小语言模型。 主打极致轻量化，最小版本体积只有 GPT-3 的 1/2700。 而且还开源了 tokenizer 分词器训练，包含 Pretrain、SFT等全过程训练代码，甚至拓展了视觉多模态的MiniMind-V。 所有训练脚本均为 PyTorch 原生实现，兼容MoE混合专家模型架构，基本实现了对大语言模型全阶段的开源复现

MiniMax 发布技术博客，披露其 M2 系列大模型无法输出人名「马嘉祺」的根因排查过程。排查从一个个例出发，最终揭示了一个波及整个词表近 5% 的系统性退化问题。 根本原因是大模型两个训练阶段的数据覆盖严重脱节。第一阶段（预训练）用海量互联网文本编出了一本约 20 万词的「字典」；第二阶段（后训练）用精选的对话数据教模型说话，但这份对话数据只覆盖了字典里的一部分。字典里有、但对话数据里没练到的词，就会在第二阶段逐渐被遗忘。 「嘉祺」就是这样的一个词。分词器（tokenizer，负责把文字切成模型能处理的最小单元）因为在互联网文本中见到「嘉祺」连用的次数够多，就把它合并成了一个独立单元。预训练时模型学会了这个词，但后训练的对话数据里包含「嘉祺」的样本不到 5 条。后训练不断调整模型参数，练到的词越来越准，没练到的词则在参数更新中被带偏。最终，模型仍然「认识」马嘉祺、能准确回答相关信息，丢失的只是把这个名字写出来的能力。 退化排名靠前的还有「传奇私服」「无痛人流」等互联网 SEO 垃圾词。这类词在预训练的互联网语料中铺天盖地，分词器给了它们独立编号，但精选的后训练对话数据不会收录这些内容，结果同样被遗忘。 团队对完整词表做了全量扫描，发现约 4.9% 的词发生了显著退化。退化最严重的是日语：29.7% 的日语词显著退化，远超韩语 3.3%、俄语 3.7%、中文 3.9% 和英文 3.5%。 日语的严重退化还解开了一个旧谜。此前模型在日语对话中偶尔混入俄语或韩语字符，一直找不到原因。这次分析表明，大量日语词退化后，在模型内部的参数空间里「漂」到了其他语言的地盘上，导致模型该写日语时错写成俄语或韩语。 修复方案是构造一份覆盖全词表的合成数据，让模型用简单的复读任务把字典里每个词都练一遍。效果立竿见影：日语回答中混入俄文字符的比例从 47% 降至 1%，全词表参数稳定度从最低 0.329 升至全部高于 0.97。

匿名 AI 模型杀疯了：Ox Alpha 背后可能藏着智谱下一代 GLM🫰 一个没有公司、没有发布会、甚至不敢公开身份的 AI 模型，突然把 GPT-5.6、Claude、Grok 拉出来同台测试。 它叫 Ox Alpha。 8 月 20 日登陆 OpenRouter 后，这个“幽灵模型”迅速引爆开发者社区。 100 万 token 上下文，支持图片和视频输入，128K 输出，默认开启高强度推理，最关键的是： 免费。 但真正让圈内震动的，不是配置，而是它在真实 Coding 任务里的表现。 有人拿 DeepSWE 真实软件工程任务测试： Ox Alpha：80% Fable 5 Max：65% GLM-5.3：62% Grok 4.6 xhigh：62% GPT-5.6 Sol Max：52% 10 个任务，完成 8 个。 虽然样本量不大，不能直接宣布“击败所有模型”，但这个结果足够让开发者开始疯狂拆解它。 然后问题来了： Ox Alpha 到底是谁？ 社区没有找到官网，却找到了大量技术指纹。 Tokenizer 测试中，Ox Alpha 与 GLM-5.3 高度一致； 视频输入 token 消耗模式接近 GLM-5V 系列； API 参数和推理行为也出现大量相似之处。 目前最主流猜测： 它可能就是智谱 正在测试中的下一代 GLM 多模态模型。

HuggingFace 独立研究者 AuroraAI-Research 把语言模型压到了 8 万参数——训练是在一台小米手机的 CPU 上完成的。 《Aurora-80K：一个现代微型语言模型》 Aurora-80K 是 AuroraAI-Research 发布在 HuggingFace 上的微型语言模型：正好 8 万参数，Apache 2.0 许可，整个权重文件只有约 0.3MB。作者称这是 Aurora 系列的新起点，用来取代之前那些"低效的旧模型"，更大尺寸的版本已在路上。 最有意思的是词表设计。8 万参数的模型通常只能用几百词的词表，它却塞进了 4096 词表——靠分解表示：嵌入层拆成 64 个 cluster 向量和 64 个 sub-token 向量，相加组合出全部 4096 个词。128 个向量就顶起一张 4096 宽的嵌入表。 输出层同样分解。推理时先预测 cluster（64 选 1），再在 cluster 条件下预测 sub-token（64 选 1），两级合起来就是完整的 4096 词表概率。输入输出两头都省。 架构是现代配置的极简版：2 层 Transformer、hidden 64、SwiGLU 前馈、RMSNorm、ALiBi 位置编码配 256 的注意力窗口、4 头注意力。评测数字：Wikitext-2 BPB 3.2902，BLiMP 52.31%，Arc-Easy 26.05%。 训练数据是 fineweb-edu 按教育分 4 分以上过滤出的约 4000 万 token，跑 2 个 epoch。训练设备是小米 14T Pro，钉在 4 个 Cortex-X4 CPU 大核上，算上预处理和 tokenizer 训练，全程约 6 小时。 适合玩极限压缩、或者想研究"现代架构缩到最小长什么样"的人。仓库里权重、tokenizer、 齐全，装个 torch 就能在 CPU 上跑。AuroraAI-Research 主页还会更新更大的尺寸。 原文： #Aurora80K# #TinyLM# #开源模型#

GM GN 距离2027年 仅剩165天 腾讯设计Agent平台Miora全面开放了，腾讯系这个AI的打法,和以前好像,全方面进攻啊,Miora你去试试不? 一起看看消息 polo的AI日报 7月23日，14条精选 ⬇️ 1. Alphabet Q2财报亮眼，营收涨24%，Google Cloud暴涨82%。Gemini月活冲到9.5亿，模型API处理量飙到220亿token每分钟，已被90%财富100强企业使用。 💡AI业务正在成为Alphabet的第二增长引擎 2. Anthropic给图书作者赔了15亿美元，联邦法院批准，涉及48万多部作品每部约3000美元。法官认为合法获取的书上训练AI算变革性合理使用，但大规模抓网内容合法性未定。 💡每本书赔3000美元，48万部作品合计15亿,产权问题是大问题,但是ai就像人脑一样,我记住了理解了你还要收我的版权费吗? 3. GigaToken发布全新语言模型分词器，在AMD 144核CPU上对GPT-2分词速度达24.53 GB/s，是HuggingFace Tokenizers的989倍。 4. 微软把MagenticLite全家桶全面开源，MagenticBrain和Fara 1.5权重上架Hugging Face，应用测试工具全栈模型一个不落。 💡微软把全套Agent工具链扔进开源社区 5. DAIR的Elvis Saravia提出用任务替代提示词作为交互单元，把语音、屏幕、文本、标注等多模态信息一次性喂给智能体。 6. Anthropic给Claude加了经济指数连接器，用户可直接问哪些职业用AI最多，答案基于真实数据，数据集免费开放。 💡Claude变身经济分析师 7. OpenAI准备在佐治亚州砸200亿美元建超大规模数据中心，配套3.2吉瓦电力，2028年起投用，满负荷总成本或超300亿。同时将2030年算力支出预期从6000亿上调至近7500亿。 💡OpenAI在赌未来五年的算力需求根本停不下来 8. AMD宣布向Anthropic投资50亿美元，换取Anthropic采购2GW的AMD MI455及未来GPU。 💡GPU军备竞赛进入交叉持股阶段,好熟悉的感觉 9. Qwen-Image-3.0实测出炉，19个场景挑战GPT Image2，中文长文本不崩、多语言混排稳、多图融合和图片编辑能力在线，国内速度快价格不贵。 💡中文场景下Qwen-Image-3.0比GPT Image2更稳 10. 小红书技术团队开源BigMac，多模态大模型训练新范式，以LLM流水线为主干嵌套编码器和生成器，比基线快1.08到1.9倍，已是dots多模态模型核心组件。 💡小红书开源了自家训练多模态模型的底层框架,你开源我开源,你不开源,我还是开源,这是什么打法 11. 腾讯设计Agent平台Miora全面开放免邀请码，覆盖品牌设计、影视创意等五大场景，支持自定义多模态模型和Agent推理深度，内置Skill市场和记忆系统。 💡腾讯把设计Agent从邀请制直接推到全民开放 12. Cursor发布智能模型路由系统Cursor Router，自动把每个编码请求分给最合适的模型。Auto模式满意度接近Fable同时成本降60%，Balance模式满意度超Opus 4.8成本降36%。 💡Cursor Router自动帮你分任务 13. OpenRouter新增音频转写API，支持Whisper等STT模型，一个API key搞定，base64音频丢过去返回JSON文本。 14. OpenAI自曝AI模型在安全测试中突破沙盒越狱，利用零日漏洞入侵HuggingFace基础设施偷凭证。HuggingFace在7月16日披露，称入侵由自主AI智能体系统实施。 💡这件事的严重程度比HuggingFace被黑本身大得多 #AI# #开源# #人工智能#