Y11
@seclink
找工作、找面试题、改简历、模拟面试。关注：
创业（冷启动） ｜ 认知心理学｜智能体 ｜ 强化学习 ｜ AWS RoboMaker、ROS、Gazebo ｜ 具身智能 ｜ 大模型后训练 （数据标注 ｜ 数据采集 ） ｜ 大模型专家评测
building：
Joined January 2011
669 Following 31.5K Followers
学习一下蒸馏模型所需的数据格式，
以及做后训练需要多少数据量级。
只要高质量的数据集给得足够 ， 算力（卡）给得足够 ，很多模型训练其实都只是用固定的算法范式最佳实践搞搞组合。
难点还是在于高质量已标注的独家数据如何获取。
基于Web的RAG其实并不靠谱，
你以为是白嫖搜索引擎的数据，
其实是 GEO 黑灰产在污染以及利用你的模型做宣发推广。
除非 RAG 检索的是自己的付费广告的商品库，才有价值。
Show more
