注册并分享邀请链接,可获得视频播放与邀请奖励。

搜索结果 AILabs独家
AILabs独家 贴吧
一个关键词就是一个贴吧,路径全站唯一。
创建贴吧
用户
未找到
包含 AILabs独家 的推特
Vizuara AI Labs 联合创始人、MIT 博士 Raj Dandekar 花 252 美元租一张 H200,从零预训练了一个迷你版 Kimi,把官方代码训不动的坑也一条条写进日志。 《预训练一个迷你 Kimi K3》 《Pretraining a Mini Kimi K3》是一本免费电子书,作者 Dr. Raj Dandekar 是 Vizuara AI Labs 的联合创始人,专门教人从第一性原理构建 LLM。全书是一份完整的预训练工作日志:单张 H200 上花 252.35 美元、喂 50 亿 token,从零预训练出一个 10.2 亿参数的 Kimi K3 复刻版(激活参数 1.45 亿)。 全书 30 个章节、179 张图,约 5 小时读完。开篇把 Moonshot 官方 K3 的配置逐行拆解,再讲缩小的算术:怎么把一个 2.8 万亿参数的模型缩到一张卡能训,而不缩成另一个模型。注意力堆栈(9 层 KDA + 3 层 MLA)、top-6 路由的 MoE、参数计数都单独成章。 数据部分也不省:1048 亿 token、六个来源的语料,训练前用 13-gram 匹配对 8 个 benchmark 做去污染,shard 格式支持中断后从断点续训。 最值钱的是它记录失败。Moonshot 发布的代码有 4 个未文档化的问题,直接跑不起来,作者写了一个绕开它们的训练循环;MoE 的 router 到第 20 步已经杀掉了 94.5% 的专家;跨卡训练还有 3 个不崩溃但悄悄出错的分布式 bug。 提速部分像一份实验笔记:16 次提高 MFU 的尝试只有 3 次成功,失败的那 13 次也原样写下,包括两个反直觉的结果——FP8 和换更大的 GPU 得分反而更差(0.19x)。 全程有数字:loss 从 12.10 降到 2.62,24 次跨训练过程的 benchmark 评测,最后一章直接回答"252 美元到底买到什么"。 适合想自己预训练 MoE 模型、或想弄懂 K3 / DeepSeek 这类架构的人。免费在线阅读,无需付费: 原文: #KimiK3# #MoE# #Pretraining#
显示更多
0
45
763
168
转发到社区
🔔WEEX AI Labs #加密万能看板# 正式上线 一个机会出现前,你可能已经切了5个App。 看盘、追巨鲸、盯宏观、刷社区,现在一个看板就能完成。 AI自动聚合市场、资金流与社区信号,帮你更快发现机会。 ✨首批体验官招募中: 1. 关注 @WEEXAILabs 2. 转发+点赞 3. 在评论区留下你的真实使用反馈和WEEX UID 我们将评选3位优质体验官,每人送出88 USDT交易助力金。 你的建议,还有机会进入下一版产品更新。 👉立即体验: #WEEX# #AI# #Crypto# #Airdrop#
显示更多
0
20
24
11
转发到社区
更正:404AI Labs 官网 在项目和About中手动核心了这个官网和创始人的历史,做不过不项目,但没明显显示是:OpenClaw、Hermes Agent 开发过的历史。只是这个项目把这两个整合进来了。 也属于AI的误导,前后问结果都不同,得在AI时代,大家一定要加入工人的核验。 不过产品开源,以及Base 创始人关注为实。
显示更多
$AgentOS 是 404AI Labs( @AndreaPN 创始人)推出的个人AI代理框架 | @jessepollak 关注 👉背景与团队 404AI Labs:专注 AI Agent + DeFAI 之前做过 OpenClaw、Hermes Agent 等产品。 亲自发帖宣布上线。 CA: 0x6eda83fc299c10d474068a7e69771c809bcbbba3 核心卖点是设备端智能模型路由: 本地路由器会根据任务自动挑最便宜但够用的模型(支持 OpenRouter、OpenAI、Anthropic、Ollama 等20+提供商),帮你省token、省钱。 已实现功能(今天v2026.7.14.post1 已上线): 关键是开源了: GitHub 已公开 安装超级简单(uv tool 两行命令),支持 Windows/macOS/Linux,已有 Windows portable 版。 500K附近
显示更多
今天和 @snortydogg 聊天 关于 AI 四个确定的商业模式 - 卖数据(给 AI Labs) - 卖结果(给客户) - 卖基建(给模型和云厂) - 卖部署(给企业)
0
21
53
10
转发到社区
⚡️@memekiller365 对话 168X:中国 AI 资产重估,下一轮 Alpha 藏在哪里? 这次我们请到猎手 killer,一起聊中国资产里最值得重新定价的方向!过去半年,A 股不是全面上涨,而是明显分化:AI 含量高的硬科技、半导体设备、存储、MLCC、先进封装、光互连在被资金不断挖掘! 这场 Space,我们会聊:中国资产现在真正被低估的是阿里腾讯,还是 A 股 AI 硬科技?智谱、月之暗面、MiniMax 这类中国 AI Labs,如果未来有境内退出通道,会如何改变中国 AI 资产估值?半导体国产化里,真正的机会是在芯片设计,还是设备、材料、EDA、存储、封装、光互连这些上游短板? 同时也会聊 A 股 ETF、港股半导体、国产存储、MLCC / 钽电容、Micro LED / CPO,以及普通投资人如何分辨「真 AI 含量」和「纯蹭概念」! 主持:@168MrZ @vcmktasa 嘉宾:@memekiller365 直播时间:7/2 13:00 东八区 X Space 链接:
显示更多
Nathan Lambert 跑遍了中国所有头部 AI lab 1️⃣ Moonshot 2️⃣ Zhipu 3️⃣ Meituan 4️⃣ Xiaomi 5️⃣ Qwen / 6️⃣ Ant Ling 7️⃣ 回来写了一篇 Notes from inside China's AI labs 最让他震惊的 是文化层面的差异:GPU / 数据 / 模型这些硬件层面,中美几乎打平 他的原话 - 美国研究员有「为自己发声」的文化,ego 和职业野心,经常会挡在好模型面前 - 中国研究员的状态完全相反,极度低调,极度专注,被问到 AI 经济影响 / AI 伦理这种宏观问题时,第一反应是「我不懂这个 我不该评论」 他说:这种文化上的微小差异 累积到最终模型的质量上,是个真实的差距 · 原来做模型,拼到最后,拼的是 ego · 现在中美前沿大模型的输出已经在同一档 - Lambert 列出的相同点:最大的模型 / 最好的科学家 / 最多的算力 / 最 agentic 的训练流程,基本一致 - 差距开始挪到下一层,谁的文化能让最优秀的人更纯粹地做研究,谁就在下一代模型上拉开 · 原文链接(Notes from inside China's AI labs):
显示更多
Visiting most of the leading Chinese AI labs, I'm struck by a culture that's extremely well suited to building LLMs with fewer resources, but one happening in a very different ecosystem, more companies at play, almost no data industry, etc. Full report:
显示更多
0
4
66
10
转发到社区
突然想问一个问题,目前两家前沿 AI Labs 的收入中,有多少来自中国大模型公司的蒸馏? 毕竟按照之前 Anthropic 公布的数据,仅仅是一个阿里巴巴好像就访问了400多亿次,这些蒸馏调用的钱,是不是都是他们的收入? 有没有一种可能,这些调用都是通过订阅方案实现的,也就是说成本实际很低,所以才不停的封禁订阅账户? 毕竟订阅方案对于他们来说,是赔钱抢市场的商业策略,结果一边赔钱,一边养肥了开源大模型,简直不能忍啊!
显示更多
0
18
21
0
转发到社区
在关于Token 效率最大化会利好 Hyperscaler的各种讨论中,看到了一个特别好的比喻: 把 AI 想象成一条收费公路。上面有两类公司: 1️⃣造车公司 他们生产“车”,也就是模型本身,负责把你送到目的地,车是有利润的。 2️⃣收费站 他们不关心你开什么车。法拉利、丰田,还是一辆12年的二手本田——只要过桥,都要付费。 现在市场发生了一个变化: 大家突然意识到,自己每天通勤用法拉利其实没必要,于是全部换成更便宜的本田。 结果是: 车厂的单车收入崩了,但大家会因为车便宜开更多(因为成本下降),所有这些额外行程,依然要经过收费站。 👉 收费站的收入反而上升 在 AI 产业中: AI labs = 造车厂 Hyperscalers = 收费站 未来几个月,我们将进入一个阶段: 整个经济体一边从“法拉利模型”降级到“本田模型”的同时,一边把 token 使用量提升 10 倍。
显示更多
最近看到部分美國媒體和對華鷹派聯手詆毁黃仁勳,並大力推動對中國使用海外算力(包括海外數據中心)採取一刀切限制,我感到非常憤怒。 一方面,我認為某些對華鷹派智庫對AI和半導體理解不足,仔細看他們的報告,會發現大量基礎事實錯誤與邏輯跳躍相當常見。另一方面,他們極力推動的AI芯片全面斷供,他們有沒有收受利益(特別是來自某家美國AI lab),當時人自己心裏十分清楚。 這些人近期主張的核心是徹底切斷中國獲取海外算力的管道。但從美國自身利益來看,這個主張其實相當短視。 中國企業在海外租用算力,本質上是在向美國的 AI 與半導體生態支付高額費用。這些錢會流進 Nvidia、CSP、以及其他供應鏈,再被重新投入下一輪研發與擴產。換句話說,中國使用海外算力也在為美國生態輸血。 同時,美國其實是中國開源模型的最大受益者。一方面,美國的雲廠商與 inference providers 靠這些開源模型已經累積了可觀的推理 ARR(達10億美元)。另一方面,美國企業在大量非最前沿任務上使用這些模型也是目前性價比最高的選擇。算力層賺走了絕大部分利潤,模型層的中國 lab 實際收到的 licensing fee 卻非常有限,所以美國幾乎一直白嫖中國開源模型 再看 Nvidia 與中國工程師的合作。這些合作並非單方面讓利,而是在持續鞏固 Nvidia AI stack 的生態主導地位。工程師的共同開發、問題回饋與早期適配,反而讓 CUDA 生態更難被替代。 更重要的是,國產算力並非如鷹派想像的那麼不堪一擊。昇騰在硬體規格上已可與 Hopper 相比,部分中國 AI lab 在昇騰上的軟體棧也已進入可用階段。即使單晶片仍非最前沿,中國可以透過芯模協同(算法為晶片設計、晶片為算法優化)、系統工程(超節點、互聯、調度)與開源帶動生態的方式來縮小差距。而多數鷹派只會簡單比較單晶片規格,完全忽略系統層面的可能性。 因此,徹底禁止中國使用 Nvidia 晶片,結果很可能不是鎖死中國,而是加速倒逼中國全面轉向國產 AI 系統。如果徹底禁止中國使用 Nvidia 晶片,我會預期各家中國AI labs將很快使用國產硬件進行萬億規模模型訓練(包括預訓練)。這對美國長期維持技術與生態優勢反而有害。 在我看來,真正需要被質疑的不一定是黃仁勳,而是那些對產業理解不足、卻又極力推動全面斷供、並可能夾帶利益的對華鷹派。
显示更多
0
22
218
29
转发到社区