Register and share your invite link to earn from video plays and referrals.

Eden🏆买美股上币安
@Web3Eden01
Crypto x 港美股 x AI |实战分析派|趋势捕捉 + 产品洞察|一切分析均为个人观点|非投资建议|TG:
Joined October 2023
3.4K Following    18.9K Followers
Kimi K3 昨晚开源后的数据表现,说明大家对高性能开源模型已经渴求到了极点。 一夜之间接近 2900 次下载,考虑到这模型对硬件的变态要求,这下载量含金量极高。 毕竟这玩意儿启动成本就是几千万的服务器集群。 月之暗面这次没挤牙膏。 2.8 T MoE 架构,智能密度比以前提了 2.5 倍。 这意味着它不是靠堆参数去换取的性能提升,而是架构层面的效率优化。 原生视觉理解加 1 M 上下文,这配置基本上就是对着目前最强的闭源模型去的。 最值得讨论的是他们开源了 MoE 通信库。 玩过大模型的都知道,MoE 架构最难搞的就是多卡之间的通信效率。 Kimi 直接把这块骨头啃下来并开源,以后大家搞大参数模型,不用再从零开始去抠底层的通信框架了。 这波操作直接把开源和闭源的差距拉到了半年以内。 现在的局面变得很有意思: 闭源模型靠规模效应和先发优势守城,而像 K3 这样的开源力量正在通过全栈开放来瓦解对方的护城河。 这种开放不是姿态,而是实打实地把代码和工具链交出来。 对于开发者和初创团队来说,这是一个转折点。 你手里终于有了一把可以平替甚至超越部分闭源 API 的重剑,虽然这把剑很重,需要昂贵的算力去舞动它,但至少它现在就在你的手里。
Show more