城堡Citadel创始人肯·格里芬,也与脸书创始人小扎一样,对AI运行机制不太懂。DeepSeek发布后,格里芬前往中国,然后得出惊人的结论:“DeepSeek的作者中,没有一个在美国受过教育。这是民族自豪感的一个体现”。格里芬大谈输掉人才争夺战。外界不清楚DeepSeek的海外背景员工比例,但格里芬判断“没有一个”肯定是假的。
DeepSeek的核心思想是效率优先的架构设计+高效强化学习。这些并非完全从零发明:MoE思想可追溯到早期工作,如GShard等;注意力压缩受MQA/GQA启发,RL基于PPO。特别是,DeepSeek的GRPO是PPO的变体,这些工作大多来自Google(注意力与MoE)和OpenAI(PPO),DeepSeek在它们之上,做了针对性的工程与架构改进。
AI处于早期,后面的进程,会超出想象。
顯示更多