注册并分享邀请链接,可获得视频播放与邀请奖励。

搜索结果 lerobot
lerobot 贴吧
一个关键词就是一个贴吧,路径全站唯一。
创建贴吧
用户
未找到
包含 lerobot 的推特
冷知识: mcap_to_lerobot 和 trossen_mcap_to_lerobot_v2 走的是机器人遥操路线的数据收集和转换, 果然很多博士表面上是支持开源,实际上还是商业带货大佬 ,支撑起了庞大的产业链 ...
显示更多
机器人世界模型(全新维度,0 去重 = 全新信息) 核心项目: - Awesome-WAM(OpenMOSS):World Action Models 综合论文列表,含 DreamDojo(从人类视频学习的通用机器人世界模型) - awesome-physical-ai:VLA 模型、世界模型、具身基础模型论文合集,含 NVIDIA Cosmos Predict2.5 - π₀/π₀.5(Physical Intelligence):视觉-语言-动作流模型,通用机器人控制 - GR00T N1(NVIDIA):通用人形机器人开放基础模型 - InternVLA-A1(阿里巴巴):统一理解、生成和动作的机器人操作模型 仿真环境: Genesis、Isaac Sim、MuJoCo 仍是主流 操作策略: LeRobot(Hugging Face)、Octo、Diffusion Policy、ACT 是当前热门
显示更多
我在 MIT 的最大感受之一就是,世界就是个巨大的草台班子。今天又深深体验了一次。 这学期我上了一门关于 AI Agents 的课,需要分小组做项目(老师说偏好 infra 而不是应用层)。受我之前那个 LLM 连 vibrator 的项目启发,加上我对硬件本身有兴趣,我本来是想做一个protocol(协议)或中间层,让 AI Agents 能连接和控制大多数硬件。刚好另外一个MIT本科生也想做类似的事情,他知道了我的vibrator项目后邀请我一起做,不过我最后深思熟虑后放弃了做这个项目,最后选择了另一个偏应用层的比较水的项目。(因为我也不在意成绩了且最后没找到我既感兴趣且觉得有前景的项目) 我放弃做这个我原本很有兴趣的方向的原因是:我认为它既没有什么商业价值,也没有任何的技术含量/护城河。 但是今天我们这个课程的demo day上,这个项目在现场众多VC投资人和评委的评分下,得了第一😂。 我当时放弃继续做这个方向的的判断理由如下: 这件事可以拆成两类设备来看 —— 消费级和工业级。 消费级设备这块没有技术含量,且连接它们并没有带来价值。绝大多数消费电子走的都是公开协议,美国已经有像 Home Assistant 这样成熟的 APP 把市面上能连的东西都连了。我那个 vibrator 之所以要逆向工程,是因为它走的是私有 BLE 协议,不在任何公共标准里 —— 这反而是少数情况。常见的消费级设备根本不需要 LLM 来"理解协议",直接调现成的库就行。所以就算你用 agent 把这些连起来,也基本没有创造多少任何额外价值,因为问题已经基本被解决了。 工业级设备这块,那情况就复杂了,学校项目根本做不完。每个设备的协议、接口、控制逻辑都不一样,你要么砸大量钱去买很多设备一个一个跑通,要么直接和厂家对齐 —— 这两件事一个学期的课程项目都不可能做到。 我当时也考虑过:或许作为一个课程项目,只实现四五个设备的连接,或者只说服四五个厂家,其实够交差了(没想到人家只跑通一个不难连的设备就直接交差lol)。但长远看,我觉得这事儿也不适合我自己创业 —— 我自己的硬件背景和产业资源并不强,不具备让大多数厂家都使用我定义的 protocol 的能力,或者至少我不是最适合做这件事的人。而且我认为未来这些硬件厂家,自己就会把自家设备做得更方便让ai agents连接和控制,所以也无需通过一个第三方的中间层或者协议。 退一步说,就算我是适合组局做这件事的 founder,这个"连接"到底解决什么场景下的具体问题、带来多少价值、谁来付费? 我当时和那个本科生聊,他说这个东西主要面向 开发者,可能让开发者付费 —— 但如果真是这样,我很怀疑开发者是否会愿意为这样的东西付费,所以我认为这个前景是比较有限的。 但我没想到的是,仅仅跑通一个设备,真的就可以宣传成“能够把AI agents和所有/通用硬件连接起来的协议”(universal hardware control )然后拿到第一。 他们最后做的是:在一个开源教育机械臂(SO-ARM101)上,做了三件事 :给它加了个 AI 能调用的接口,加了个出错能自动重启的脚本,加了个摄像头让 AI 看看自己有没有做错。这个机械臂的底层 SDK,Hugging Face 的 LeRobot 团队早就封装好了,Python 一行就能调用。 但他们把这个东西包装成 "Universal agentic hardware control",配了一个稍微有点科技感的landing page,然后就把VC们和评委们唬的一愣一愣的,拿到了最高档评价。 这世界果然是个巨大的草台班子。
显示更多
0
72
367
29
转发到社区