向阳乔木
@vista8
喜欢摇滚乐、爱钓鱼的PM
第二届GEO大会报名-11-21/22日-深圳南山
Joined June 2007
1.7K Following 127K Followers
帮大家总结下要点：
1. 国内预训练架构创新全球领先，但后训练数据积累落后海外约半年。
因为国内模型厂算力只有海外头部的十分之一左右，被逼出架构创新。
2. 后训练门槛比预训练低得多，核心竞争在数据质量，不在 infra。
3. 组织架构重要性超过算力储备。混元案例说明，拆掉部门墙比单纯堆人更有效。
腾讯把多模态模块从独立部门拆出来，和预训练体系合并，整体研发效率提上去了。
4. RSI 是下一个共识方向，做好 RSI 的前提是自己能训模型，现在训模型约等于造数据。
一个判断 AGI 的角度：模型能不能从零复刻自己。
如果能复刻一个超越自己的版本，RSI 就算实现了。
Show more
