Feiteng
@FeitengLi
Speech · Image · Video · LLM multimodal generative models
Research → Infrastructure → Built AI algo serving 200M+ users
公众号: Generative AI
Open to opportunities
1.2K 正在关注 3.5K 粉丝
桥水基金在 Mira Murati（OpenAI 前 CTO）新公司 Thinking Machines 平台上发的 Technical Report。
拿 Qwen3-235B 做私有化微调，在金融文档筛选和央行报告解读上直接落地。
结果挺硬核：定制模型 Accuracy 直接拉到 84.7%（错误率比最强闭源 GPT-5、Claude 4.8 模型低 29.8%），Inference Cost 暴降 13.8倍。
背后是高敏感数据：
Open-weight 是唯一解：敏感的金融核心数据，机构不可能天天往别人的云端送。国内 Qwen 系列长文本和微调上限足够高，成了华尔街追求 ROI 的完美底座。
Data Engine 是核心壁垒：他们砍掉了外包的脏数据，只拿 Hard Cases 让内部顶尖投资经理（领域专家）二次清洗。用高成本的“专家品味”洗出干净数据，才带高了模型天花板。
训练 Recipe 调优：
交错批处理 (Interleaved Batching)：多任务训练按循环顺序交错，Accuracy 提了 12.1%。
CIPOS Loss + 非对称裁剪：换掉标准重要性采样，对策略偏离做非对称约束，又顶上去 10.1%。
优秀教师政策蒸馏 (OPD)：每 20 步动态用验证集表现最好的 Checkpoint 当 Teacher，再刷了 3.1% 的点。
通用模型的边际效应在特定高壁垒业务上是在递减的。
最近看到的一个趋势：用“顶级开源底座 + 极致干净的专家数据 + 针对性的微调工程”去卷出高性价比的垂直智能。
@sgl_project @vllm_project 队伍都创办公司那融资是这个趋势标志性的事件
显示更多
其实这些问题都能很好的解决了
1. 扔掉 whisper，换 ASR 模型，Qwen3-ASR 就很不错幻觉很少、也有一些别的ASR选择，whisper 幻觉多也要求 30s片段，Qwen3-ASR 塞更长的音频识别越准确，最大支持 20 分钟；
2. 文字时间轴 也扔掉 whisper 不是很准, 虽然 Qwen/Qwen3-ForcedAligner-0.6B 也能用，但实际测试超过 180s 就时间轴就混乱不堪，可以用 @LattifAI_HQ 4 小时都轻松准确， 可以到这里看看 卡拉 OK 字幕都十分准确，也有 skill speaker diarization 和 naming 也解决的很好了
3. VAD 切片我推荐自己的项目 准确性 Top
显示更多
