註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

檢索結果 MOE 12月号入荷してます!📖
MOE 12月号入荷してます!📖 貼吧
一個關鍵字就是一個貼吧,路徑全站唯一。
建立貼吧
用戶
未找到
包含 MOE 12月号入荷してます!📖 的搜尋結果
🔎0.1分的差距,57倍的价格,DeepSeek V4 Pro正式版诠释“性价比之王” 凌晨突袭,DeepSeek V4 Pro正式版把性价比玩明白了。 8月12日深夜,DeepSeek官网API文档悄然更新,旗舰模型V4 Pro从预览阶段正式转正,版本号定格为DeepSeek-V4-Pro-0813。没有发布会,没有倒计时,连更新日志都没来得及写。但数据不会说谎,这款模型用一张成绩单,把“比我强的没我便宜,比我便宜的没我强”这句话,刻在了大模型竞赛的牌桌上。 性能:距离全球第一,只差0.1分 先说硬指标。V4 Pro正式版沿用了预览版的MoE架构,1.6万亿总参数、每个Token激活490亿参数,支持100万Token上下文窗口和384K最大输出。架构没变,但后训练下了狠功夫。 最惊艳的来自Agent相关评测。在衡量AI智能体完成真实终端环境复杂任务能力的Terminal Bench 2.1上,V4 Pro拿下87.9分。全球第一的Anthropic Fable 5,为88.0分,差距仅0.1分。相比预览版72.1分,三个月跃升了15.8分。 再看其他维度。AI安全智能体基准Cybergym上,V4 Pro以83.3分压过Fable 5的83.1分。软件工程能力测试DeepSWE从预览版的12.8分飙升至62.7分,涨了近五倍,超越了Anthropic上一代旗舰Opus 4.8,为58.0分。DSBench-Hard翻了一倍多达到67.2。 这些测试有个共同点,都涉及长链路的代码修改、环境操作和工具调用,恰好是预览版最容易翻车的地方。换句话说,V4 Pro这次补上的正是大模型从“聊天玩具”走向“生产工具”最关键的Agent能力。 价格:对手的六十分之一 性能逼近Fable 5,价格呢?V4 Pro每百万Token输入(缓存未命中)3元、输出6元,缓存命中输入低至0.025元。 对比海外顶级模型,Fable 5每百万输出Token定价50美元,GPT-5.6 Sol Max为30美元,Grok 4.6为6美元。而DeepSeek V4 Pro仅为0.87美元。6元人民币的输出价格,是Fable 5的六十分之一、Opus 5的三十分之一。 0.1分的跑分差距背后,是五十七倍的价格鸿沟。在部分智能体任务中,V4 Pro与Claude、Fable等顶级模型的性能差距已缩小到约5%,但后者的价格最高却是它的45倍。 格局:大模型竞赛进入性价比时代 这次更新恰逢Grok 4.6同夜发布、Qwen 3.8-Max宣布开源。模型之争已从单一的参数比拼,转向性能、成本与商业化应用的综合较量。 DeepSeek走的是一条清晰的路,用顶级模型的性能、地板价的价格,倒逼整个行业重新思考“什么才是好的大模型”。V4 Pro与Flash版形成“高频轻量走Flash、复杂推理走Pro”的产品分层,开发者可以按需选择,丰俭由人。 当然,V4 Pro并非没有短板。在无工具调用的Humanity's Last Exam上,它跟Claude Opus 5仍有明显差距。部分开发者反馈长时间连续执行时仍会出现提前停止、任务质量不稳定等问题。此外,DeepSeek已预告将整体上调API定价,目前的低价窗口能持续多久仍是未知数。 但无论如何,V4 Pro正式版已经用实力证明了一件事:性能可以逼近全球第一,价格却可以只有对手的六十分之一。大模型的“奢侈品”时代正在被瓦解,这对所有开发者来说,都是好消息。 #AI# #DeepSeek#
顯示更多
0
114
9
0
轉發到社區
🤪聽說我先係女僕,不過主人們太成熟了🥰 Moe Moe cueeeee🪄 #12月7日藍幽生誕# #love# #instagood# #photooftheday# #beautiful# #happy# #cute# #tbt# #like4like# #followme# #picoftheday# #follow# #me# #selfie# #summer# #art# #instadaily# #friends# #repost# #nature# #girl# #fun# #smile# #style# #family# #food#
顯示更多
卧槽!太恐怖了!疫情末日预言又照见了现实? 日本一位自称从2058年来的穿越者:國分玲(推特号放最后面),早年前曾对2026-2030年发布过重大预言: 全球会爆发新一轮传染病:2026年12月,全球将出现一种全新的呼吸道传染病毒,传播力为新冠原始毒株的3倍,致死率0.3%,会对人体免疫系统造成长期损伤,2027年6月得到全面控制。 而近期恰巧来了俄罗斯鼠疫问题,难道真的这么巧合? 而除了國分玲之外,还有一位曾预言过2019年新冠疫情的推友Valerian ,也发布了新预言, 他预言:新一轮的全面封锁,将从11月19日开始!! 看完我鸡皮疙瘩都起来了,以前不以为然,现在看来好像一切都细思极恐。。 日本的这位國分玲,当时除了给出关于疫情的预言,还有以下几个: 1. 俄乌战争:正式停火协议将于2027年3月17日签署,双方以当前实际控制线为基础划定停火边界。边境小规模冲突将持续到2034年,最终全面和平协议于2035年6月签署。 2 全球经济:2028年,全球将爆发新一轮金融危机,导火索是美国国债违约风险,美元全球结算体系将出现根本性动摇。” 3. 黄石超级火山:2028年11月,美国黄石国家公园超级火山将出现大规模地质异动,地面年抬升速度达到22厘米,2030年3月喷发概率78%。一旦喷发,北半球将进入10年以上的火山冬天。 4. 地外生命:2029年4月,NASA火星探测车将在杰泽罗陨石坑深处,发现完整的远古微生物化石,这是人类首次在地球外找到明确的生命存在证据。 國分玲 X账号:@bV6eBJOQc7bUvgO Valerian X账号:@Moe_Valerian
顯示更多
0
132
922
166
轉發到社區
高盛策略师Timothy Moe等将韩国KOSPI指数未来12个月的目标位下调25%,从12000点下调至9000点。(今年多次上调目标后的首次大幅下调)。理由是基准指数较6月高点下跌逾35%后,需要采用更为保守的估值假设。 策略师认为,这轮抛售已令韩国股票处于严重低估状态,调整后的目标仍意味着该指数较当前水平有逾60%的上涨空间。
顯示更多
开源模型的参数规模迅速膨胀,性能也在逼近甚至追平闭源frontier model。K2(1T)到DeepSeek V4 Pro(1.6T)再到K3(2.8T),间隔不到12个月。K3在独立评测中已经能对标Claude Fable 5,企业拿开源模型做私有化部署,不再是性能上的妥协,而是成本和隐私上的优选。 当这类万亿级MoE模型真正落地部署,硬件侧的瓶颈就不在算力了,而在内存容量、数据格式(FP4)、以及scale-up域内的低延时高带宽互联。 K3总参2.8T,FP4量化后权重约1.4TB,每个token只激活896个专家中的16个,计算量不大,但专家路由要求全部权重可访问,GPU大部分时间在等内存读取,不是在算。FP4不再是可选的精度降级,而是架构级的刚需,推理芯片如果不在硬件层原生支持FP4,基本没法跑这个体量的模型。 MoE模型的推理通常采用专家并行(EP),每个token的expert routing都需要跨卡通信完成分发和结果聚合。scale-up域内的低延时高带宽互联质量,直接影响用户端的token rate和系统的总吞吐。参数规模越大,需要装进同一个低延时域的权重越多,scale-up域也必须跟着扩大。 关于scale-up域内的具体方案,我在之前”把一万块芯片变成一台计算机”的三篇推文里详细讨论过,这里不再展开。 另一个被拉动的环节是CXL。MoE模型98%以上的专家权重在任意时刻是冷的,纯靠HBM装太贵。把冷专家放CXL-attached DDR5,热专家留HBM,做分层调度,理论上成本可以大幅下降。再往下一层,把更冷的权重卸载到高速SSD也在成为可行的路径,学术界和工业界都已经有MoE专家分层加载的方案在验证。未来大概率是HBM放热专家,CXL DRAM放温专家,SSD放冷专家,形成多级内存层次。Astera Labs和澜起在CXL控制器芯片上的卡位已经很清楚了,一个吃全球hyperscaler,一个吃中国本土供应链。 开源模型的参数规模没有放缓的迹象,scale-up域必须跟着扩大。更大的scale-up域意味着更多的HBM容量、更大的先进封装面积、更多的高速光互联和铜互联、更多的CXL内存扩展、以及更多的retimer。这条需求链条会随着每一代开源模型的参数膨胀持续拉长。 除了上边聊到的,还哪些受益环节?大家可以一起聊聊。
顯示更多
0
7
154
23
轉發到社區
Fable5的动态工作流规划能力和长程任务能力非常惊艳,模型本身训练已经带上了这些目标,做任务的时候,也很能感受到这个模型对 unknown unknown 的把控力。 这背后是前沿 AI 模型的训练目标,正在从让模型变聪明转向让模型会干活。 Fable5被明确设计为能够自主工作数小时甚至数天、分阶段规划、派发子任务给内部 agent、自我验证输出结果、在百万 token 上下文中始终保持注意力的系统。 这也不是 Anthropic 一家在走的路,把最近几个月的模型发布串起来看,所有实验室都在往同一个方向收敛。 DeepSeek V4 Pro 的训练管线是典型的例子:先用 SFT 加 GRPO 强化学习对每个领域独立培养专家能力,再通过 on-policy 蒸馏将所有领域的专长统一融合进一个模型。同时提供 Non-Think、Think High、Think Max 三种推理模式,让用户根据任务复杂度在延迟和深度之间做取舍。1.6万亿参数 MoE 架构,百万 token 上下文,10到12倍便宜于 GPT-5.5的价格。它的训练方法已经明确针对 agentic coding 和长程推理做了优化。 即将公布的GPT-5.6更进一步,OpenAI 用强化学习训练三个独立变体(Sol、Terra、Luna),让模型通过生成长 deliberation trace 来推理后再输出。Sol 甚至有一个 ultra 模式,会自主派生出多个子 agent 来并行处理多步骤任务的不同部分。 把这些拼在一起,能看到一条非常清晰的趋势线: 前 Qwen 技术负责人林俊旸回顾了 Qwen3混合思考模式(thinking/non-thinking 切换)的教训:思考模式和指令模式在训练目标上天然冲突,强行让一个模型两者兼顾,结果是两边都不够好。所以后续版本直接拆成了 Instruct 和 Thinking 两个独立变体。 但他更核心的判断是:AI 领域正在从训练模型转向训练 Agent。他把传统的推理思考(o1、DeepSeek-R1那种,依赖数学和代码的确定性奖励信号)和 Agent 思考区分开来,Agent 需要在交互式环境中制定计划、调用工具、根据反馈修正行动。后者的训练基础设施挑战大得多:要解耦训练和推理,要优化环境质量而不是数据多样性。 这就回到了 Dario Amodei 反复讲的那个最朴素的原理:AI 模型能力根本上取决于参数规模和输入数据。从这个角度看,LLM 行业确实没有天然护城河,训练方法在收敛,开源社区在追赶,算法创新很快就会被复制。 Anthropic 自己内部的数据也很说明问题,2023年收入从0到1亿美元,2024年到10亿,2025年到90-100亿,每年十倍增长。但 Dario 自己也在说“我们接近指数的终点”——当所有玩家的训练方法论趋同,真正的壁垒只剩下算力获取能力和生态锁定效应。 所以 Fable5让人兴奋的是它展示了一种新的模型行为模式:不需要外部脚手架告诉它一步步怎么做,它自己就能把一个大任务拆开、执行、纠错、完成。这种能力的来源是训练阶段就刻进模型权重里的目标函数。 当训练模型的思路和训练 Agent 的思路开始重叠,我们看到的就不再是一个更聪明的问答系统,而是一个真正能在现实工作流里接管长程任务的执行体。
顯示更多
《AI时代,投资者必须全栈》 ai investor has to be Full-Stack Investor 过去的投资世界,讲究“分工”: 有人做宏观,有人做行业,有人做基本面,有人做量化。 但进入 AI 时代之后,这种分工化的投资方式正在迅速失效。 今天,一个真正能理解、看懂并抓住 AI 时代财富机会的投资者,必须是 全栈型投资者(Full-Stack Investor)。 就像技术行业曾经出现“全栈工程师”一样,未来的投资世界也将被“全栈投资者”主导—— 既懂宏观,也懂技术;既能判断行业,也能写工具;既能分析,也能自动化。 这是时代的要求,也会是下一代投资者最核心的竞争力。 一、为什么 AI 时代投资者必须全栈? 1. AI 是一个端到端的超级产业链,任何一个环节都可能反转你的判断 AI 涉及的链条长到前所未有: 算法(Transformer、MoE、World Model) GPU(NVDA / AMD) HBM(SK hynix / Samsung / Micron) 先进封装(TSMC CoWoS / SoIc) 光互联(Broadcom / Coherent / Intel SiPh) 数据中心(VRT、NET、DDOG) 能源(BE、CWEN、XIFR) 云与 AI 平台(GOOG、MSFT、META、OpenAI) AI 应用层(PLTR、SaaS 全部重构) 任何一个瓶颈、任何一个突破,都会改变整个板块的涨跌逻辑。 如果你不了解光互联,你看不懂 GPU 可扩展瓶颈。 如果你不了解 HBM,你判断不了 AMD/NVDA 的代差。 如果你不了解能耗和冷却,你不知道数据中心为什么比 GPU 更紧缺。 如果你不了解算法,你根本无法判断“算力需求是否会继续指数级增长”。 AI 投资不是单点知识,而是端到端系统理解。 2. 信息量爆炸,纯靠人力无法覆盖 AI 相关的信息密度,已经远超传统行业: 供应链新闻 算法论文和技术突破 Big Tech CapEx 更新 监管和出口管制 数据中心扩张与电力审批 GPU 交付时序 行业会议与内部技术路线 X/Twitter 讨论流 各类模型 benchmark 和产品更新 每天 1000+ 条信息可能只是行业平均水平的投资者。 不用工具自动化,就永远落后于别人。 全栈投资者最大的优势,就是能自己构建信息“摄取与过滤系统”。 3. 技术周期太快,不懂技术就无法提前布局 AI 的技术迭代速度大概是: 每 3~4 个月一次重要突破 每 6~9 个月一次产品更新 每 12~18 个月一次算法范式变化(MoE、SSM、World Model) 每 24 个月一次硬件架构代差(H100 → B200 → Rubin) 如果你不了解技术周期,你根本无法预测: 哪家公司未来一年会爆发 哪条供应链会卡住 哪个环节会成为新赢家 谁会在 2 年后被替代 技术理解能力,是 AI 投资者未来的基本素养。 二、为什么“开发能力”也是未来投资者的必修课? 真正的全栈投资者,不只是会分析,还必须会“开发自己的工具”。 因为: 1. 投资者的核心能力之一是“快速验证观点” 你想验证: 最近 48h 哪些 AI 项目最热? 某事件(财报/政策)对哪些股票影响最大? 算力增速 vs 数据中心供电缺口的关系? 模型参数增速 vs HBM 需求增长? 只要你会vibe coding,你就能在马上得到答案,而不是靠别人的两周后的分析。 2. 未来的投资者本身就是“产品经理” 投资者必须设计: 事件监控 数据库 自动摘要 自动分类 情绪分析 回测脚本 。。。。。。 这就是一个“投研产品”的完整系统。 会开发的人,能自己造最适合自己的系统;不会的人,只能用别人的系统,未必最适合自己 三、结语:AI 时代不会让投资更容易,但可能是碳基生物为数不多的选择之一 AI 并不会让投资变简单。 AI 会加速信息流动、压缩套利时间、加速竞争。 在这种环境下: 不会开发、不会自动化、不会跨学科推理的投资者,将被淘汰。 懂技术、懂产业、懂开发、懂金融的“全栈投资者”,会成为下一代的超级个体。 更不用说,当ai开始大量替代人力的时候,投资,可能是唯数不多的,你可以选择不被替代的工作。 真正的 AI 投资时代刚刚开始。 只有全栈型投资者,才能吃到全周期的红利。
顯示更多
0
41
551
175
轉發到社區
本地大模型的显存壁垒,今天被正式宣告物理终结了, 单张 24G 的 RTX 4090,竟然真把 125B 的 Qwen 3.8 Flash Next 给跑起来了, 而且上下文直接拉到了 25 万,解码速度稳在每秒 21 个词 以前跑这种百亿千亿级的巨无霸,动辄要租几张 A100 数据中心集群, 但这次海外极客在 Ubuntu 上用一张普通 4090 加 110G 白菜价 DDR4 内存, 硬生生跑出了生产级的速度: 预填充每秒 364 词,解码每秒 21 词, 最狠的是没开 MTP、没开 dflash,连 KV 缓存都没做任何量化 很多人好奇 24G 显存怎么塞得下 125B 还带 25 万上下文, 核心全靠 llama.cpp 最新分支里一个叫 -cmoe 的物理外挂: 它把 512 个专家层全部扔给廉价的系统内存, 把最吃计算的注意力机制留在 4090 显存里, 显存占用瞬间从 24G 暴跌到 11.6G,而且解码速度几乎毫无损耗 空出来的整整 12G 显存,全被拿去放上下文, 直接把窗口一路顶到了 250,000 的绝对上限,跑完甚至还剩 5 个多 G 的显存余量 再加上把 batch 设到 4096,提示词处理速度直接翻倍狂飙, 以前大家觉得消费级显卡只能跑跑 7B 到 27B 的小模型, 现在 MoE 架构加上内存卸载,直接把数据中心级别的智能焊死在了家用电脑里 本地折腾私有大模型和超长 Agent 的时代, 真的被这套组合拳给彻底砸开大门了啊
顯示更多
0
55
503
77
轉發到社區
Vizuara AI Labs 联合创始人、MIT 博士 Raj Dandekar 花 252 美元租一张 H200,从零预训练了一个迷你版 Kimi,把官方代码训不动的坑也一条条写进日志。 《预训练一个迷你 Kimi K3》 《Pretraining a Mini Kimi K3》是一本免费电子书,作者 Dr. Raj Dandekar 是 Vizuara AI Labs 的联合创始人,专门教人从第一性原理构建 LLM。全书是一份完整的预训练工作日志:单张 H200 上花 252.35 美元、喂 50 亿 token,从零预训练出一个 10.2 亿参数的 Kimi K3 复刻版(激活参数 1.45 亿)。 全书 30 个章节、179 张图,约 5 小时读完。开篇把 Moonshot 官方 K3 的配置逐行拆解,再讲缩小的算术:怎么把一个 2.8 万亿参数的模型缩到一张卡能训,而不缩成另一个模型。注意力堆栈(9 层 KDA + 3 层 MLA)、top-6 路由的 MoE、参数计数都单独成章。 数据部分也不省:1048 亿 token、六个来源的语料,训练前用 13-gram 匹配对 8 个 benchmark 做去污染,shard 格式支持中断后从断点续训。 最值钱的是它记录失败。Moonshot 发布的代码有 4 个未文档化的问题,直接跑不起来,作者写了一个绕开它们的训练循环;MoE 的 router 到第 20 步已经杀掉了 94.5% 的专家;跨卡训练还有 3 个不崩溃但悄悄出错的分布式 bug。 提速部分像一份实验笔记:16 次提高 MFU 的尝试只有 3 次成功,失败的那 13 次也原样写下,包括两个反直觉的结果——FP8 和换更大的 GPU 得分反而更差(0.19x)。 全程有数字:loss 从 12.10 降到 2.62,24 次跨训练过程的 benchmark 评测,最后一章直接回答"252 美元到底买到什么"。 适合想自己预训练 MoE 模型、或想弄懂 K3 / DeepSeek 这类架构的人。免费在线阅读,无需付费: 原文: #KimiK3# #MoE# #Pretraining#
顯示更多
0
45
763
168
轉發到社區