Register and share your invite link to earn from video plays and referrals.

阑夕
@foxshuo
说什么是你的自由,做什么是我的权利,如果我做的得不到你的赞同,那就对了,否则我将与你一样平淡无奇。
Joined August 2009
774 Following    172.9K Followers
- OpenAI o1在惊艳登场的同时做了非常深厚的隐藏工作,不希望被其他厂商破解原理,但从局势上有点像是在给行业提了一个谜语,赌的是在座各位没那么快解出来,DeepSeek-R1是第一个找出答案的,而且找答案的过程相当漂亮; - 开源能够比闭源提供更多的确定性,这对人力的增长和成果的产出都是很有帮助的,R1相当于把整个技术路线都明示了出来,所以它在激发科研投入上的的贡献要胜过藏招的o1; - 尽管AI产业的烧钱规模越来越大,但事实上就是我们已经有接近2年时间没有获得下一代模型了,主流模型还在对齐GPT-4,这在一个主张「日新月异」的市场里是很罕见的,即便不去追究Scaling Laws有没有撞墙,OpenAI o1本身也是一次新的技术线尝试,用语言模型的方式让AI学会思考; - o1在基准测试里重新实现了智力水平的线形提升,这很牛逼,发的技术报告里没有披露太多细节,但关键的地方都讲到了,比如强化学习的价值,预训练和监督微调相当于是给模型提供正确答案用来模仿,久而久之模型就学会依葫芦画瓢了,但强化学习是让模型自己去完成任务,你只告诉它结果是对还是不对,如果对就多这么干,如果不对就少这么干; - OpenAI发现强化学习可以让模型产生接近人类思考的效果,也就是CoT(思维链),它会在解题步骤出错时回到上一步尝试想些新办法,这些都不是人类研究员教出来的,而是模型自己为了完成任务被逼,哦不,是涌现出来的能力,后来当DeepSeek-R1也复现出了类似的「顿悟时刻」,o1的核心堡垒也就被实锤攻破了; - 推理模型本质上是一个经济计算的产物,如果强行堆砌算力,可能到了GPT-6仍然可以硬怼出类似o1的效果,但那就不是大力出奇迹了,而是奇迹出奇迹,可以但没必要,模型能力可以理解为训练算力x推理算力,前者已经太贵了,后者还很便宜,但乘数效应是差不多相等的,所以现在行业都开始扎走搞性价比更优的推理路线; - 上个月末o3-mini的发布和DeepSeek-R1可能关系不大,但o3-mini的定价降到了o1-mini的1/3,肯定是受到了很大的影响,OpenAI内部认为ChatGPT的商业模式是有护城河的,但卖API没有,可替代性太强了,国内最近也有关于ChatBot是不是一门好生意的争议,甚至DeepSeek很明显都没有太想明白怎么承接这波泼天流量,做消费级市场和做前沿研究可能是有天然冲突的;(2/n)
Show more