註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

檢索結果 VLMエージェント
VLMエージェント 貼吧
一個關鍵字就是一個貼吧,路徑全站唯一。
建立貼吧
用戶
未找到
包含 VLMエージェント 的搜尋結果
我为什么反复强调VLM(multimodal,多模态)是死路一条,世界模型更是臭狗屎。 一个最简单的第一性原理,100k tokens文字的信息量,远远高于图片,更远远远远高于视频,这些量文字形式能解决一些超级复杂完备的问题,而对于VLM输入图片,信息极其稀疏,能解决的问题基本约等于狗几把。 如果人类在1T~10T的VLM Agent能解决一个难度为X的问题, 那么同等模型下,对应纯文字LLM Agent给足上下文、memory、wiki、信息,全部以pure text和structured data形式准备好,并且通过text/bash/cli/api/mcp形式获取信息,那么这个LLM Agent一定能解决难度为1000X的问题。 等到VLM强大到让一个VLM Agent解决难度为1000X的问题的时候,LLM Agent已经可以解决(1000^2) * X难度的问题了。 就这么简单一个道理,绝大多数人根本想不明白。
顯示更多
0
64
150
13
轉發到社區
随想/具身智能的基础模型已经四大流派。 两位科学家、一个企业巨头和明星创业公司。李飞飞的世界模型,强调仿真和数据,英伟达前半场信奉VLM从感知到理解,如今直奔仿真流的WAM、后面的几篇论文有直接抛弃VLM+ACT路径的意思,毕竟要卖软件和算力。只有可爱的PI,坚持了OpenVLM的感知-理解-行动的经典流派,在确定场景中拿数据集作验证和逐步泛化。 却唯独杨(LeCun)的JEPA很另类,更像纯粹的牛顿物理AI。 这几天思考,这哥们敢于提出把真实世界压缩为高维度空间的“潜在表示”。以前听到介绍JEPA中反复提及的用“抽象表征”总是心里各种不适应,在理科生的眼中,表征等于外在表现或者肤浅的表面。其实英文Abstract Representative,原意是“抽象的再次复现”,更容易理解。“表征”是哲学中译词汇,文科生可能更懂。今天的计算机论文翻译者,大概需要哲学或者心理学PDH。 也想起来以前看那本西瓜书《机器学习》教材的时候,听到辛顿“反向传播理论“的别扭。反向可能是倒着推算吧,可是提到传播理论四个字,还以为串课到了传媒大学新闻系。其实这个该死的词汇,只是复合函数偏微分中常用的“链式法则”,那个公式简单极了,一句话,Loss损失函数(也是一种复合函数)中的一个权重自变量向上一个函数的递归式逐级偏微分连乘。你不知道我高中多讨厌语文。 LLM的计算,超级黑盒。 从I/O之间的有如无限大的张量线性叠加的隐藏层。 如今,具身智能则要计算从Encode到Decode的复杂几何倍数于LLM的“隐空间”。 超级大黑盒。 资本希望的趋势,VLM的黑盒套在LLM的黑盒上。别让我的钱白烧。 无论是Hidden Layer还是今天的latent Space,中文翻译都用了一个隐字。很喜欢。 想起自己五年前的起名ID,简直是为AI而生。以后直接叫我,隐。《边水往事》的导演,我朋友,当年第一部创作我们参与过投资,他的名字叫做算。别忘了,请以后叫我,隐。 比起李飞飞的Sim to Real结合Dateset出发的世界模型,杨的视角里,完全不关心像素、纹理、阴影和光照。杨更关心的“抽象的潜在表征”,比如预测”被遮挡的区域形态,时间的后续状态”。 三位都说自己的模型、数据和工具如何,针对创业者、商业和落地预言。唯独杨的提出,是绝世独立的一套抽象架构。今天,主流从业者似乎没人理会杨。我感觉,但愿是错觉,在Meta杨像一个Loser,但是杨的JEPA,所谓的“联合嵌入预测架构”,让我想起最初的谷歌提出Transformer和注意力机制,也只是从一套理论架构开始,其实也被一度冷落。 做学术研究的,往往结局是一条路走到黑,从黑天开始走。无论价值还是审美,都没错。想起刚拿奖的两位数学家的样子,都美,都很优雅。扯远了。已经文非所题。 杨更像是一位物理学家。
顯示更多
0
90
50
1
轉發到社區
腾讯又挖来一位 OpenAI 核心研究员。 据多家媒体确认,OpenAI 前研究员田永龙(Yonglong Tian)已正式加入腾讯,将参与混元大模型相关研发,重点方向为 VLM(视觉语言模型)。 这也是继姚顺雨之后,腾讯引入的第二位 OpenAI 背景核心研究员。 更有意思的是,两人本身就是 OpenAI 老同事。如果后续传闻中的组织架构落地,腾讯混元的多模态能力很可能会迎来一次明显加强。 田永龙的履历也很硬: • 清华本科 • 香港中文大学 MMLab • MIT EECS 博士(Phillip Isola 组) • Google Research • Google DeepMind • OpenAI 他的研究方向长期聚焦于: Computer Vision Representation Learning 多模态模型 VLM / 对比学习(SupContrast 作者之一) 相比「又挖了一个 OpenAI」,我觉得更值得关注的是腾讯最近的人才布局。 姚顺雨更偏基础模型、Scaling 和 AI Infra;田永龙则长期深耕视觉和多模态。如果两人的职责最终按目前传闻落地,一个补基础模型,一个补 VLM,多模态拼图基本就齐了。 这也说明腾讯今年的重点,已经不只是追赶大语言模型,而是在补齐 Agent、GUI、视频理解、数字人等下一阶段 AI 应用最核心的能力。 国内大厂这波 AI 人才争夺战,越来越有意思了。
顯示更多
原OpenAI 研究员田永龙加入腾讯 OpenAI 前研究员 Yonglong Tian(田永龙)已于近期加入腾讯,知情人士透露,其后续或将参与参与 VLM(视觉语言模型)相关研发。 田永龙此前在 OpenAI 担任 Member of Technical Staff,主要研究方向包括计算机视觉、视觉表征学习(Representation Learning)以及生成式模型。 在 OpenAI 之前,他曾在“谷歌系”深耕多年。2022年底,他加入位于剑桥的 Google Research 担任高级研究科学家,随后于 2024 年 5 月转入 Google DeepMind。
顯示更多
苹果 HALO:1000 个虚拟住宅里训练,零样本搬进真实家庭成功率 91%, 是少见的硬结果。 1000 个虚拟住宅里生成 300 小时数据、16 万多个片段,模型从没见过真实家居,搬进 6 个没建图的真场景跑 360 次,成功率 91%。它能做的都是硬活:坐椅子、侧身穿过半开的门、蹲着从桌下过去。三层时钟分得干净,VLM 每两秒做一次分解,3Hz 输出运动,50Hz 跟踪。 我的判断是,国内做家庭机器人的团队该换思路,瓶颈不在数据量,在场景生成的逼真度和分层架构。
顯示更多
记住一个结论,党哥具身智能第一定律, 党哥反复强调,机械臂没有触觉,没有反馈,不能通过反馈信号感知压力,所以永远不能正确抓苹果,这是机械臂做不好pick and place最大的死穴。 但是机械臂拥有精确的quaternion的控制方法,有各种光线等等角度编码器,来控制手部操作,这是吊打人类的一点。 所以这一轮用gpt-6 astra来控制机械臂手柄function calling的这一轮具身智能爆发,跟人类双手的逻辑是不同的。 最大的本质区别是,本轮具身智能爆发,很难做pick and place抓取动作,但是可以先由人类提前放好工具,机械臂死死捏住,然后进行复杂、有规划的、可控的路径操作。 简单来说,gpt-6 astra最适合的场景,一个是工业全自动喷漆、焊接,给蛋糕裱花,给天津名菜扒海羊扒全菜扒肉条太极八卦鱼肚大翻勺,一个就是临床手术, 如果你有三个机械臂,一个用镊子拽小鸡,两个用刀分别从两侧切一圈,这恰恰是这一轮VLM直接操作agent来控制机械臂手柄的最擅长的操作。 与此类似,如果你有5个机械臂,你就有非常丰富的手去控制腹腔镜,控制心脏介入的导丝,控制高精度手术刀在大脑、腹腔、胸腔、心脏、子宫等等里面操作。 而这些操作全都不需要pick and place,因为人类可以简单帮他们放好,他们只需要位移和旋转,就能按照GPT-6级别的规划进行精细操作。 我预言,未来10年内,GPT+Agent+机械臂手柄function calling会首先解决切包皮手术,这套设备会为全世界40亿男人全部切一次包皮。
顯示更多
0
39
189
19
轉發到社區
我觉得2026年已经可以宣布了。 gpt-6配上手柄级别function calling控制机械臂,已经可以相对稳定地完成robotics第一大突破级任务:对一个苹果进行100次pick and place,拿起放下来回100次。 虽然速度会非常非常慢,但之前任何VLM和具身智能的方法都完全做不到这一点。 这是机器人领域的一个里程碑。
顯示更多
0
27
181
9
轉發到社區
我几个月前就预测过,北京这些投具身智能的VC们,一定会陷入进退维谷、自我矛盾的境地, 一方面老百姓和市场的预期,已经被宇树这种垃圾玩具厂拉到极高的水平,认为机器人=超人=能做任何事情, 一方面VLA方向已经彻底死透了,所有人都发现这条路完全是死路一条,一堆骗子公司还在做RL和采集数据, 但人人都知道这些公司离彻底死绝只剩下时间问题,更别提宇树这种垃圾玩具公司, 一方面VLM直接接入机械臂手柄这个approach,我反复强调过,没有大范围高密度高灵敏的接触传感器tactile sensor,加上vlm本身的速度问题,可以解决,但代价就像一个人拿手柄控制7个自由度的超级大手臂一样,非常不稳定,非常危险,非常慢, 一方面整个湾区都在做vlm接入机械臂的控制大手柄这个方向,所有的demo都是3~10倍加速的演示,但是连最基本的pick and place都做不好,只能控制机械夹子,连手都算不上。 但是北京这些VC要不要跟进呢,跟进就意味着彻底扇了整个国家战略层面上宇树科技这一波具身智能的脸,不跟进又眼睁睁看着被湾区这些YC孵化的高中生们拿个gpt model直接吊打。 我反复说了两年,中国具身智能这轮大跃进,最终一定是以自我打脸收场,下一轮一定会有其他新的灵巧手方向的突破,但一定是以这一轮这几十家具身智能诈骗玩具厂集体倒闭破产关门作为起点的。
顯示更多
0
24
377
27
轉發到社區
以往处理复杂 PDF 格式,多栏混排、手写字、数学公式一转乱成一锅粥。GPT-4o 确实能看懂,但转 100 万页能直接吞掉你 6000 多美金,谁用谁肉疼。 知名 AI 机构 Allen AI 搞的 olmOCR,用开源 7B 视觉语言大模型(VLM)专门用来“洗 PDF”。管你是什么刁钻多栏、页眉页脚干扰、手写混排还是复杂公式,统统给你拉成极度干净的 Markdown,而且天然保持正确的阅读顺序! 排版魔术手:多栏报纸、论文混排自动识别逻辑顺序,绝不串行 公式手写全包:数学 LaTeX 公式、表格、甚至手写笔记全自动提取 噪音自动洗掉:重复的页眉、页脚、无用插图自动清空,只留干货 批量吞吐极快:原生支持 vLLM 加速与多卡集群,百万级文档直接跑批 这玩意搞 LLM 预训练数据清洗、大模型 RAG 知识库构建,简直就是开挂。 项目链接: 在线 Demo:
顯示更多
分享一套很适合补「现代强化学习」的开源教程:Hands-On Modern RL。 它的学习路线很完整,从 CartPole、DQN、PPO 这些经典 RL,一直讲到 RLHF、DPO、GRPO、RLVR,再往后延伸到 Agentic RL、工具调用、多轮信用分配和 VLM RL。 我比较喜欢它的一点,是「实践优先」。很多章节都配了可以直接运行的代码、训练曲线和失败案例,比如从零实现 PPO、数学推理 GRPO、Mini Deep Research Agent,以及 VLM 的 GRPO 训练。训练崩溃、Reward Hacking、KL 漂移这些实际问题也被当成正式内容来讲。 尤其 Agentic RL 部分很值得看。它把训练对象从一次回答扩展成完整 trajectory,讨论工具调用、环境反馈、多轮信用分配和异步 rollout,而这些正是 Agent 从「会回答」走向「会长期行动」之后绕不开的问题。 现在很多 RL 教程还停留在经典控制,这套资源已经把学习路线一路接到了今天的大模型后训练和 Agent 研究。 不过项目自己也提醒,目前仍在快速迭代,而且有 AI 协助生成,部分内容尚未全面审稿,阅读时最好结合论文和代码一起验证。 项目链接:
顯示更多
0
58
542
93
轉發到社區