注册并分享邀请链接,可获得视频播放与邀请奖励。

搜索结果 Moonlit
Moonlit 贴吧
一个关键词就是一个贴吧,路径全站唯一。
创建贴吧
用户
未找到
包含 Moonlit 的推特
Tengwang Pavilion Moonlit Night, Jiangxi, China 滕王阁月夜,中国江西 #China# #Jiangxi# #countrywalk# #coolJiangxi#
Moonlight防重复靠一个递增的nonce数字,Phoenix防双花靠隐藏的nullifier列表——两套完全不同的底层实现,同样解决"钱不能花两次"这个基础问题,评估账户模型别只看表面公开还是隐私。@DuskFoundation $DUSK #dusk#
显示更多
今夜,不属于月亮…. There‘s No Moonlight This Night. #Iuno# #鳴潮# #WutheringWaves#
0
29
2.1K
97
转发到社区
月到中秋分外明,最新写真套图《月光》中秋节特惠上新,希望家人们喜欢💕 The moon shines particularly bright during the Mid-Autumn Festival. The latest photo album "Moonlight" is newly released with a special offer for the Mid-Autumn Festival. We hope our family members will like it
显示更多
0
4
419
13
转发到社区
中国人工智能公司 DeepSeek 已重启第二轮融资,目标接近 80亿美元;知情人士透露,Monolith Management 正洽谈出资。 这个融资规模已经不是普通创投项目。中国党国机器把人工智能视为战略能力,西方必须盯紧资金、芯片和算力最终流向。
显示更多
卧槽,Kimi &GLM 5.2 联合体牛 ! 让GLM 5.2 终于有眼睛了。 有人直接把Kimi的MoonViT视觉编码器挂到了GLM 5.2上,做成了一个可用的视觉版本,还开源了NVFP4量化权重。 这不是官方联合训练的完整多模态模型,而是把一个Kimi 强视觉编码器和另一个团队的强语言模型硬接在一起,居然能直接用。 以前大家觉得多模态必须从头一起训才能对齐好,现在这种“插件式”组装已经开始出现实用效果。 强视觉编码器可以像模块一样被复用,文本模型也能快速获得看图能力。 模型地址:
显示更多
华尔街日报:DeepSeek 即将获得新一轮融资,这家中国 AI 初创公司的估值将达到 740 亿美元,并计划于明年进行 IPO。知情人士称,该公司正寻求筹集 74 亿美元,用于资助研发和计算基础设施建设。此次融资将标志着 DeepSeek 估值较 6 月份 500 亿美元的水平进一步提升。最新一轮融资的参与者包括现有股东,如 Monolith Management,以及中国电池巨头宁德时代。据知情人士透露,多家由中国地方政府平台支持的基金也计划投资。
显示更多
还有人记得Infini的U卡吗,我也是好久没登录官网了,发现还有几十U,然后一口气把Infini的Pro,AI,Lit三张卡全都开了 Pro卡用来绑定微信和支付宝付款,AI卡用来订阅ChatGPT等AI,Lit卡用来绑定appla pay和google pay支付。 先测试了下推特,一口气订阅了十几位大佬(没有排名) 中文区: 杀破狼 WolfyXBT @wolfyxbt X玩抽象第一人有没有,风格直接有趣,也经常分享加密相关的干货内容。 Moonlight 月光 @Moon1ightSt 混血双语油管大神,YouTube创作者奖得主者,专注AI 和美股,播放量超 4 亿,干货拉满 Yuyue @yuyue_chris 天使投资人Yuyue姐我在几年前就参加过她的AMA,她写的交易思路和风控,真的值得反复看,跟着她起码不容易乱亏。 Yueya @yueya_eth 我想加密板块应该没人不知道月牙姐的含金量,经常写深度分析,逻辑很清晰。月牙姐做的项目,建议无脑跟就好了 猴哥 @monkeyjiang 好几年前就认识猴哥了,长期投资美股和加密的老司机,强调管住手、守住财富,猴哥的交易思维值得我们每个人学习 英文区 ultra @0x_ultra Milady enjoyer + dashboard wizard. Currently building onchain stuff at @kalshi. Strong data sense and execution. pp @ppmcghee Community Lead at Pudgy Penguins. Frontline community guy. DeeZe @DeeZe Host of @wedoalittlepod. 69 IQ thing collector, always interesting. camol @camolNFT Growth at @katana, ex-Zynga. Kind but hilarious online. Garry Tan @garrytan President & CEO of Y Combinator. Helps founders accelerate the boom loop. Ansem @blknoiz06 One of the biggest voices in crypto. Direct style, tied to @BullpenFi & @MarketBubble. threadguy @notthreadguy Goes live every day at 8:30a EST. Building @counterpartytv, heavy on Phantom & Polymarket. toly @toly Co-founder of Solana Labs. Technical deep dives + award-winning phone creator. loomdart @loomdart Building @loomlocknft (combatting modern addictions). Don’t DM, use Telegram. Real talk only. Serenity @aleabitoreddit AI / semi supply chain research. Only on X, NFA, high signal. U卡这玩意真得多备几张,谁也不知道哪天突然某张卡就不能消费不能订阅了。也不指望优惠和返现,能用别出错就行。
显示更多
0
34
25
1
转发到社区
转一下苏剑林老师对 K3 架构的复盘。 一句话概括,K3 = KDA + MLA + Stable LatentMoE + AttnRes。整套设计没什么炫技,核心就是在模型效果、计算效率和训练稳定性之间做取舍。 这里稍微解释一下: KDA,一种线性 Attention MLA,一种 KV Cache 较小的 Full Attention 变体 Stable LatentMoE,对 LatentMoE 做过稳定性改造的 MoE 方案 AttnRes,用可学习的跨层注意力,替代固定等权的残差累加 几个比较有意思的点: ① K3 同时使用了 KDA 和 MLA。另外,训练仍然用 Moonlight 版本的 Muon 优化器,Attention 权重改成 Per-Head Muon,每个 Head 独立优化。苏神说这不会直接提高效果,主要是数学和结构上更合理:各个 Head 本来就相对独立,不应该在优化时耦合在一起。 ② 解决MoE“容易炸”的问题。 LatentMoE 会先降维,再使用更多专家,最后升维,在训推成本大致相同的情况下效果略好。不过连续的矩阵投影也让训练更容易出现数值不稳定。 K3 把 SwiGLU 换成了 SiTU-GLU,用 softcap 压住异常激活;又在 LatentMoE 升维前加了一层 RMS Norm。这个 Norm 不只是让训练更稳定,在 Valid Loss 差不多的情况下,不加它,某些 Benchmark 会稳定变差。 (这里有超级多的技术细节,感兴趣的可以看苏神原文) ③ 关于MLA DSV4 看上去都换设计了,K3 怎么还在用 MLA?苏神的答案是,目前 MLA 仍然很难被全面击败。它在训练阶段是 MHA 形态,推理时 KV Cache 较小;在固定训练成本和 KV Cache 大小时,MLA 依然近乎最优。 它的问题是对 MTP(推测解码)不够友好。MTP 的思路是“用计算换速度”,而 MLA 在 Decoding 阶段本身就比较吃计算,再叠一个 MTP,两边就容易抢算力。 换别的方案也有代价。比如换成 128+128 的 GQA8,效果很难打赢 MLA,KV Cache 还是 MLA 的三倍多;换成 256+256 的 MFA(本质上是 MQA),训练和 Prefill 成本又会上去。 目前还没有一个简单的 Attention 设计,能同时占住效果、训练成本、Prefill、KV Cache 和 Decoding 计算量。在 KDA+MLA 的混合架构下,MLA 的部分问题得到缓解,所以 K3 最后还是选了 MLA。 ④ 苏神觉得,DSV4 也不算真正“抛弃 MLA”。 DSV4 看上去重新设计了 Attention,但底层仍然有 MLA 的影子。它采用的是 head_dims=512、K=V 的 MQA,这正是 MLA 在 Decoding 阶段的形态;再加上 Sparse + Compress,前者减少计算,后者进一步压缩 KV Cache,同时减少计算。 方向很激进,不过 Infra 也更复杂。 ⑤ K3 的 MLA 可以去掉 RoPE,是因为 KDA 已经隐含提供了一种广义的位置信息。 这只适用于 KDA+MLA 的混合结构,像 K2 那种全 MLA 模型,直接去掉 RoPE 还是会明显掉效果。 感觉苏神真正的观点是:大模型架构里很少有免费的升级。K3 的设计哲学不是找一个碾压所有方案的新架构,而是在效果、训练成本、Prefill、Decoding、KV Cache 和稳定性之间,找一个当前更合适的组合。 苏神原文里还有很多技术内容,非常值得一看。 原文地址:
显示更多
0
28
325
66
转发到社区