【天风电新&汽车】机器人模型更新(1):苹果HALO,用合成数据帮助真机数据进行scaling-1107
———————————
🌟论文成果
HALO要解决的问题是:以往训练机器人要大量的真机遥操数据,费时费力,那能不能直接让电脑模拟生成真机数据?
论文通过提示词说明,直接生成机器人长序列动作,再通过场景生成,把机器人放进仿真房间,最后随机修改环境光照、机器人传感器噪点提高泛化性。
但这类研究最大的问题是sim2real的差距:仿真里跑得好好的,现实世界可能直接栽跟头。
论文的方案是让【合成数据要与现实对齐】,即【在仿真中复原现实世界的动作延时、电机实际输出与指令的差异】等。实际跑下来,#
模型在仿真环境和现实环境的同类单任务成功率都达到91#%,基本解决简单任务sim2real的问题。
🌟投资端怎么看
1、继续强化分层架构逻辑:论文里S2用的Qwen3.6(350e参数);S1用的Qwen3.5(20e参数)和一个扩散模型;
2、这篇论文重点在【解决合成数据的可用性】:今年开始ego这类数据成为模型预训练的主力军,但中训练和后训练仍多用真机数据,现在合成数据能帮助真机数据进行scaling;
3、论文里的训练数据仅摄像头的视觉数据。作者承认#
缺乏触觉等其他模态数据,无法判断用力精度等问题;#
4、将虚拟场景与现实对齐时,作者实际测量了机器人实机的电机、相机等参数,说明干这个活和本体强相关,换一台机器人要重新标定。因此#
有一套固定的本体、并基于本体搭建数据集更为有效。#
综上,利好的方向,多模态数采(触觉等)和本体厂。
✅触觉&力传感:论文点名发展趋势在增加触觉,故直接利好铲子股数采手套-【福莱新材】,力传感-【安培龙】
✅灵巧手+双臂:合成数据来自真机数据的补充,利好真机数采标的:机械臂【长盈】、【安培龙】(天机);灵巧手-Sharpa链【禾赛】、【维宏】,灵巧手驱动模组核心玩家【浙江荣泰】。
✅本体:模型训练的进步利好本体放量且需本体合作搭建数据集,重视争夺S1议价权的【上纬】,专注S0的【宇树】。