Vizuara AI Labs 联合创始人、MIT 博士 Raj Dandekar 花 252 美元租一张 H200，从零预训练了一个迷你版 Kimi，把官方代码训不动的坑也一条条写进日志。 《预训练一个迷你 Kimi K3》 《Pretraining a Mini Kimi K3》是一本免费电子书，作者 Dr. Raj Dandekar 是 Vizuara AI Labs 的联合创始人，专门教人从第一性原理构建 LLM。全书是一份完整的预训练工作日志：单张 H200 上花 252.35 美元、喂 50 亿 token，从零预训练出一个 10.2 亿参数的 Kimi K3 复刻版（激活参数 1.45 亿）。 全书 30 个章节、179 张图，约 5 小时读完。开篇把 Moonshot 官方 K3 的配置逐行拆解，再讲缩小的算术：怎么把一个 2.8 万亿参数的模型缩到一张卡能训，而不缩成另一个模型。注意力堆栈（9 层 KDA + 3 层 MLA）、top-6 路由的 MoE、参数计数都单独成章。 数据部分也不省：1048 亿 token、六个来源的语料，训练前用 13-gram 匹配对 8 个 benchmark 做去污染，shard 格式支持中断后从断点续训。 最值钱的是它记录失败。Moonshot 发布的代码有 4 个未文档化的问题，直接跑不起来，作者写了一个绕开它们的训练循环；MoE 的 router 到第 20 步已经杀掉了 94.5% 的专家；跨卡训练还有 3 个不崩溃但悄悄出错的分布式 bug。 提速部分像一份实验笔记：16 次提高 MFU 的尝试只有 3 次成功，失败的那 13 次也原样写下，包括两个反直觉的结果——FP8 和换更大的 GPU 得分反而更差（0.19x）。 全程有数字：loss 从 12.10 降到 2.62，24 次跨训练过程的 benchmark 评测，最后一章直接回答"252 美元到底买到什么"。 适合想自己预训练 MoE 模型、或想弄懂 K3 / DeepSeek 这类架构的人。免费在线阅读，无需付费： 原文： #KimiK3# #MoE# #Pretraining#

🔔WEEX AI Labs #加密万能看板# 正式上线 一个机会出现前，你可能已经切了5个App。 看盘、追巨鲸、盯宏观、刷社区，现在一个看板就能完成。 AI自动聚合市场、资金流与社区信号，帮你更快发现机会。 ✨首批体验官招募中： 1. 关注 @WEEXAILabs 2. 转发+点赞 3. 在评论区留下你的真实使用反馈和WEEX UID 我们将评选3位优质体验官，每人送出88 USDT交易助力金。 你的建议，还有机会进入下一版产品更新。 👉立即体验： #WEEX# #AI# #Crypto# #Airdrop#

更正：404AI Labs 官网 在项目和About中手动核心了这个官网和创始人的历史，做不过不项目，但没明显显示是：OpenClaw、Hermes Agent 开发过的历史。只是这个项目把这两个整合进来了。 也属于AI的误导，前后问结果都不同，得在AI时代，大家一定要加入工人的核验。 不过产品开源，以及Base 创始人关注为实。

$AgentOS 是 404AI Labs（ @AndreaPN 创始人）推出的个人AI代理框架 | @jessepollak 关注 👉背景与团队 404AI Labs：专注 AI Agent + DeFAI 之前做过 OpenClaw、Hermes Agent 等产品。 亲自发帖宣布上线。 CA: 0x6eda83fc299c10d474068a7e69771c809bcbbba3 核心卖点是设备端智能模型路由： 本地路由器会根据任务自动挑最便宜但够用的模型（支持 OpenRouter、OpenAI、Anthropic、Ollama 等20+提供商），帮你省token、省钱。 已实现功能（今天v2026.7.14.post1 已上线）： 关键是开源了： GitHub 已公开 安装超级简单（uv tool 两行命令），支持 Windows/macOS/Linux，已有 Windows portable 版。 500K附近

⚡️@memekiller365 对话 168X：中国 AI 资产重估，下一轮 Alpha 藏在哪里？ 这次我们请到猎手 killer，一起聊中国资产里最值得重新定价的方向！过去半年，A 股不是全面上涨，而是明显分化：AI 含量高的硬科技、半导体设备、存储、MLCC、先进封装、光互连在被资金不断挖掘！ 这场 Space，我们会聊：中国资产现在真正被低估的是阿里腾讯，还是 A 股 AI 硬科技？智谱、月之暗面、MiniMax 这类中国 AI Labs，如果未来有境内退出通道，会如何改变中国 AI 资产估值？半导体国产化里，真正的机会是在芯片设计，还是设备、材料、EDA、存储、封装、光互连这些上游短板？ 同时也会聊 A 股 ETF、港股半导体、国产存储、MLCC / 钽电容、Micro LED / CPO，以及普通投资人如何分辨「真 AI 含量」和「纯蹭概念」！ 主持：@168MrZ @vcmktasa 嘉宾：@memekiller365 直播时间：7/2 13:00 东八区 X Space 链接：

Nathan Lambert 跑遍了中国所有头部 AI lab 1️⃣ Moonshot 2️⃣ Zhipu 3️⃣ Meituan 4️⃣ Xiaomi 5️⃣ Qwen / 6️⃣ Ant Ling 7️⃣ 回来写了一篇 Notes from inside China's AI labs 最让他震惊的 是文化层面的差异：GPU / 数据 / 模型这些硬件层面，中美几乎打平 他的原话 - 美国研究员有「为自己发声」的文化，ego 和职业野心，经常会挡在好模型面前 - 中国研究员的状态完全相反，极度低调，极度专注，被问到 AI 经济影响 / AI 伦理这种宏观问题时，第一反应是「我不懂这个 我不该评论」 他说：这种文化上的微小差异 累积到最终模型的质量上，是个真实的差距 · 原来做模型，拼到最后，拼的是 ego · 现在中美前沿大模型的输出已经在同一档 - Lambert 列出的相同点：最大的模型 / 最好的科学家 / 最多的算力 / 最 agentic 的训练流程，基本一致 - 差距开始挪到下一层，谁的文化能让最优秀的人更纯粹地做研究，谁就在下一代模型上拉开 · 原文链接（Notes from inside China's AI labs）：

在关于Token 效率最大化会利好 Hyperscaler的各种讨论中，看到了一个特别好的比喻： 把 AI 想象成一条收费公路。上面有两类公司： 1️⃣造车公司 他们生产“车”，也就是模型本身，负责把你送到目的地，车是有利润的。 2️⃣收费站 他们不关心你开什么车。法拉利、丰田，还是一辆12年的二手本田——只要过桥，都要付费。 现在市场发生了一个变化： 大家突然意识到，自己每天通勤用法拉利其实没必要，于是全部换成更便宜的本田。 结果是： 车厂的单车收入崩了，但大家会因为车便宜开更多（因为成本下降），所有这些额外行程，依然要经过收费站。 👉 收费站的收入反而上升 在 AI 产业中： AI labs = 造车厂 Hyperscalers = 收费站 未来几个月，我们将进入一个阶段： 整个经济体一边从“法拉利模型”降级到“本田模型”的同时，一边把 token 使用量提升 10 倍。

FT 9月13日报道，Anthropic告知少数股东，本季度将录得连续第二季正的调整后营业收入，毛利率超过80%。Q2收入$115亿，同比14倍。7月底年化收入$650亿。10月Nasdaq上市，目标估值$2万亿以上。 数字虽然很漂亮，但是实际情况需要仔细分析一下。 第一，"调整后营业收入"剔除了股权激励(SBC)。对一家IPO前夜的公司，SBC是最大的非现金支出项之一。Anthropic成立至今从未公开披露过GAAP口径盈亏，2021至2025年累计净亏损的第三方估算在$100-150亿区间。这次报道对GAAP是否盈利同样一个字没提。而且这个"盈利"本身可能也很脆弱。Anthropic签了一份约$150亿/年的算力合约，Q2恰好覆盖了一个ramp-up折扣期，Q3起全价生效后成本结构会有明显变化。Anthropic自己在投资人沟通中也承认"may not remain profitable for the full year"。 第二，80%毛利率的计算排除了两项最大的成本：付给Amazon等云分销商的收入分成，以及模型训练费用。第三方估算2026年算力总支出在$100亿量级，其中训练约$41亿。这个80%衡量的是跑推理有多赚钱，但跟能不能用自身收入支撑下一代模型的训练是两回事。 第三，也是最关键的会计问题：收入确认方式。Anthropic将通过AWS、Google Cloud、Azure的收入按总额法(gross basis)确认，客户付$100，Anthropic记$100收入，云服务商分成记为费用。OpenAI对Microsoft采用净额法(net basis)，先扣约20%再报top line。今年3月ARR还只有$190亿时，Bank of America估算这个口径差异已达$64亿。如今ARR $650亿，这个缺口只会更大。OpenAI更直接，公开指控Anthropic虚增约$80亿。DA Davidson分析师Gil Luria的判断：先上市的公司将定义frontier AI labs在公开市场的财务报告标准。 Anthropic目前所有的PR节奏和公开动作都在为四季度IPO服务。安全叙事强化品牌溢价，盈利数据给投资人信心，竞争对手主动退出同一个资本窗口。Frontier AI labs第一个IPO，定义的是会计准则、信息披露标准和估值倍数的规则。Anthropic抢的是话语权和规则制定权，上市身位只是副产品。