Register and share your invite link to earn from video plays and referrals.

郡主Christine (✱,✱)
@0xsexybanana
Contributor @axisrobotics also like to share my thoughts on farming and trading.
Joined August 2012
2.5K Following    42.1K Followers
最近axis robotics其实有一些非常amazing的进展。还没形成paper,但是先简单分享一下激动的心情。 简单来说,过去一年,通过axis社区的数据贡献,我们其实积累了大量manipulation的动作轨迹数据。 但是我们逐步发现,这些数据更大的价值不是直接拿来训练某一个通用大模型,而是作为先验,告诉我们哪些特别的动作和状态值得探索。 最近,我们依靠 LLM 自动化生成场景和任务,然后在这些用户数据和少量自动生成数据的基础上,我们可以用高速、低成本的 RL,把每一个任务快速训练成一个接近 100% 成功率、覆盖大量状态变化的专项 Expert。 这个expert,你可以理解为是axis自研的针对某个特别的动作的专用模型,它专门针对这个任务场景可以取得非常强的泛化能力。 这些 Expert不仅具备很强的泛化能力,同时也可以通过物理和视觉随机化充分利用 Simulation,并进一步迁移到真实机器人,同时持续生成大量高质量、多样化的训练数据。 当我们把这个过程复制到成百上千个任务以后,就得到了一整个专家模型的Network:装箱、分拣、抓取等不同任务都有自己的强 专家模型,再把这些 Expert 的能力和数据统一蒸馏、fine-tune 到一个共享的 Foundation Model 里。 也许有一天,axis也拥有属于自己的海量专家模型甚至做出来属于我们的foundation model。how exciting it is
Show more