註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

投资学人 Invest Scholar
@InvestScholar
投资学人:一位职业投资者的投资札记
加入 February 2021
149 正在關注    115.3K 粉絲
城堡Citadel创始人肯·格里芬,也与脸书创始人小扎一样,对AI运行机制不太懂。DeepSeek发布后,格里芬前往中国,然后得出惊人的结论:“DeepSeek的作者中,没有一个在美国受过教育。这是民族自豪感的一个体现”。格里芬大谈输掉人才争夺战。外界不清楚DeepSeek的海外背景员工比例,但格里芬判断“没有一个”肯定是假的。 DeepSeek的核心思想是效率优先的架构设计+高效强化学习。这些并非完全从零发明:MoE思想可追溯到早期工作,如GShard等;注意力压缩受MQA/GQA启发,RL基于PPO。特别是,DeepSeek的GRPO是PPO的变体,这些工作大多来自Google(注意力与MoE)和OpenAI(PPO),DeepSeek在它们之上,做了针对性的工程与架构改进。 AI处于早期,后面的进程,会超出想象。
顯示更多
0
9
122
15
轉發到社區