註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

向阳乔木
@vista8
喜欢摇滚乐、爱钓鱼的PM 第二届GEO大会报名-11-21/22日-深圳南山
加入 June 2007
1.7K 正在關注    127K 粉絲
帮大家总结下要点: 1. 国内预训练架构创新全球领先,但后训练数据积累落后海外约半年。 因为国内模型厂算力只有海外头部的十分之一左右,被逼出架构创新。 2. 后训练门槛比预训练低得多,核心竞争在数据质量,不在 infra。 3. 组织架构重要性超过算力储备。混元案例说明,拆掉部门墙比单纯堆人更有效。 腾讯把多模态模块从独立部门拆出来,和预训练体系合并,整体研发效率提上去了。 4. RSI 是下一个共识方向,做好 RSI 的前提是自己能训模型,现在训模型约等于造数据。 一个判断 AGI 的角度:模型能不能从零复刻自己。 如果能复刻一个超越自己的版本,RSI 就算实现了。
顯示更多
0
70
315
51
轉發到社區