註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

檢索結果 PostTraining
PostTraining 貼吧
一個關鍵字就是一個貼吧,路徑全站唯一。
建立貼吧
用戶
未找到
包含 PostTraining 的搜尋結果
这次我想把Post Training里那几秒人工接管再往下拆一层。 @axisrobotics 公开的实验任务,是让机械臂把一块豆腐放到盘子里,Policy先自己执行,出现失败趋势时由人短暂接手,修正后再把控制权交还给Policy。 这里的Correction不是完整示范,而是截取Policy出错位置附近的恢复动作。 ▣ 实验最初收集了660条Correction,第一关是Replay Check,整段操作需要在模拟环境里重新执行并完成任务,660条里有496条通过。 后面还要确认人工接管并非多余,经过Redundancy Filter后剩下416条,其中414条满足短片段测试条件。 到了Recovery Test,人工只修那一小段,控制权重新交回Policy,机器人还要能继续把任务做完。 真正留下的只有161条,平均每段约0.8秒。 ◇ 这套筛选也改变了我的操作习惯。 有一次夹爪已经蹭到物体边缘,我接手后只往侧面调整了一点,把夹爪重新对准目标,确认位置没问题后就点Return to Policy,让机器人自己完成后面的抓取和移动。 ▹ 161条Correction进入训练后,Axis用同一批160个起始状态测试新旧Policy,原Policy完成66次,三次训练分别完成78次,80次和84次。 官方结果能确认完成次数增加,但没有单独拆出具体减少了哪一类失败,我更愿意把它看成Policy整体任务成功表现得到改善。 另一组480个新起始状态里,原Policy完成192次,直接学习完整人类轨迹后降到176次。 换成经过验证的短Correction,Axis还比较了40条,80条和161条三个规模,随着有效修正增加,整体表现继续改善,161条版本三次分别完成236次,235次和225次。 ◈ 现在再看这套机制,我发现Axis筛选Correction时,看的是这段修正到底解决了什么问题,而不是单纯看它持续了多久。 先Replay确认任务能够完成,再判断接管是否发生在Policy确实无法处理的位置,还要经过Recovery Test,验证修正后机器人能否自己继续完成任务。三层筛选都通过,这段Correction才会被留下。 模拟环境里的效果已经有数据支撑,下一篇我想把视线转到真实机械臂上,看看这些经过筛选的修正离开浏览器以后还能不能继续发挥作用。 实验数据来源
顯示更多
0
115
92
5
轉發到社區
最近如果想系统补一下强化学习,尤其是 LLM post-training,这套 Berkeley CS 185/285 很值得收藏。 Sergey Levine 的 Deep Reinforcement Learning 2026 春季版课程资料已经完整放出来了,昨天课程录像也开始上传到 YouTube。 课程从 imitation learning、Policy Gradient、Actor-Critic、Q-Learning,一直讲到 Model-Based RL、Offline RL 和 Exploration。 我比较感兴趣的是今年还专门加入了「RL with Sequences & LLMs」。 里面会从 RL 的视角重新讲 RLHF、Verifier Reward、GRPO、KL Regularization 这些现在做 LLM post-training 经常看到的东西。 而且不只是听课,Homework 4 直接要求自己实现 GR-REINFORCE 和 GRPO,再真正跑训练实验做对比。 最近 RL、Agent 和 LLM post-training 连得很紧,这套课正好可以把很多零散的概念重新串起来。 课程: YouTube 上搜索 RAIL 的「CS 185/285 (Spring 2026)」播放列表就能看到最新课程录像。
顯示更多
0
13
259
53
轉發到社區
RSI是一个极其广泛的概念,所有厂商和团队都在炒作,有的在做operator优化,有的做harness优化,有的在疯狂自己RL叠自己做post training,有的甚至拿自己反复重写skills来当终极RSI。 但是我要告诉你,RSI的最后一环,一定是Agent自己设计GPU,自己设计芯片,再去讨论operator 如何设计和优化和其他 high-level 的复杂设计。 RSI的最后也是最关键的一环,一定是逐渐吃掉nvidia的业务,一定是逐渐吃掉cadence和synopsys的业务, 一定是自己造Agent EDA的工具,自己拿这套agent-eda设计芯片,自己仿真验证,自己完成foundry signoff,出门直接扔给台积电生产。 那么,这么最疯狂的最后一步,到底能否实现呢? we will see.
顯示更多
0
18
105
6
轉發到社區
推掉 offer、延毕转AI safety,他一个月重新拿到 offer 刚看完一篇研究员求职复盘,作者 Yong Zheng-Xin,布朗大学五年级 PhD。 他的经历有点特别:读到最后一年,从多语言 / post-training 直接 pivot 到 AI safety,拿了 Astra Fellowship(在 OpenAI 做),为此把毕业推到 2027,还推掉了手上已有的 offer。 后来重启求职,本来计划 7 月才开始面,结果担心 headcount,5 月中就上了,6 月中就拿到满意的 offer,甚至撤掉了一些还在进行的面试。 他写了 6 个让他意外的点,我觉得对正在找 research 岗的人挺有用,整理一下👇 1/ 真正起作用的,可能只有一两篇 paper,甚至一篇都不靠 他多语言方向的 paper 数量远超 safety,还拿过 best paper。但 pivot 之后,这些一篇都没影响到面试结果。 paper 的作用其实就两个:① 敲门,你做过 team 感兴趣的东西,于是被放进 pipeline;② deep dive,research presentation 时聊一篇的动机和细节,有时短到只有 20 分钟。 所以发表数量除了证明 credibility,没那么重要。你随时可以转去一个你觉得更重要的方向,只要在新领域证明够强、team 想要你。 2/ 面试轮次的花样,超出预期 他本来以为就是 fresh-grad SWE 那套:LeetCode + behavioral + 一些 LLM / 深度学习。结果遇到了 system design、并行编程(用 asyncio 手写并发),甚至还有专门评估你“用 AI agent 用得好不”的轮次。 结论很简单:永远预期 wildcard。 3/ Work trial(试岗)越来越常见 他原以为 work trial 只在 AI safety 岗比较常见,结果发现 AI startup 也越来越多。 试岗和 onsite 完全是两回事:不是飞过去面几轮,而是真的跟团队一起做一个任务,有时还是开放式的。通常带薪,但有的线下试岗能持续整整一周。 副作用是:试岗期间你几乎没法准备别家面试,因为得全力扑在当前任务上。同时面多家、又赶时间的话,这点排期要特别小心。 4/ 时机的权重,比你想的大 去年秋天,AI safety 岗极难找,远不如 RL 相关的多;但现在一堆 startup 开始招 safety(比如 Lila、Mechanize)。 几个现实: 你的工作 viral 了,会有一波机构同时来找你,别被打懵,接住这个时机。 你的方向变热,机会整体变多,但窗口可能不到一个月,也可能拖上几个月。 headcount 一定要问 recruiter,尤其你打算推迟、或想同时面多家时。 面试可以试着往后推一两个月,但一旦开面,各轮之间的间隔通常很短。有些岗位还希望你下个月、下下个月就入职(这点能谈)。 5/ Return offer 很稀少 SWE 那边 return offer 基本是常态,research 岗就完全 case-by-case。 他 2024 在 Meta 实习,return 全职 offer 很少,高度依赖 headcount 和 team,身边不少人没拿到。他在 OpenAI 做 Astra fellowship,最后也还是和所有应聘者一样走完了全部面试轮。听说有的机构更快,如果 team match 成了,再补一两轮就行。 6/ 很多面试,跟你的方向根本没关系 他从能力研究(多语言)转到 safety,本以为 safety 相关的面试会占大头。 结果并不是。他遇到很多轮跟 safety 毫无关系,甚至跟他研究兴趣都不沾边。有些地方还是在考你“作为一个 AI researcher 够不够全面”。 他觉得这有道理(领域跑得快,基本功值得查),但预期还是落空了。也许 senior 岗会不一样。 前两天刚写完 Silvia Sapora 那篇顶级 ML Research Scientist 面试指南,这篇刚好补充了另外一个视角。
顯示更多
.@axisrobotics 一定要做的事 1⃣18 号就快照了,(绑定 X 和 Discord) 2⃣做的任务必须签名,签名才计分 3⃣嘴撸,18号之前必须提交你的帖子 Axis Robotics 超简教程 浏览器操作模拟机器人生成数据,赚积分(需签名)。 ✅打开: 选任务 → 做完后去 Portfolio 签名。 操作: 双击物体:自动靠近 拖蓝色环:移动 键盘:↑↓←→ 移动,E/D 上下,SPACE 夹爪,N 存档 B 恢复 要点:动作平滑、少抖动;Post-training 少接管;签名才计分
顯示更多
🔥神了!一网打尽AI圈人才与公司!这网站就够了! Frontier List 由@chrisbarber维护,汇总AI实验室、高人才密度Neolabs、关键人物和产业链公司,很多名单来自X社区投票。 主要亮点: 🔹Lab Tier List:70人投票,Frontier共识为Anthropic、OpenAI;n-1含DeepMind、xAI等。 🔹高密度Neolabs、Post-training服务、GPU供应商、机器人实验室、AI天使、数据公司等细分名单。 🔹覆盖人才流动、Post-training专家、SF活动组织者,方便挖新团队。 用法: 1️⃣打开网站按分类浏览最新名单。 2️⃣重点看Tier List和Neolabs摸格局。 3️⃣用人物名单追踪人才/合作机会。 4️⃣结合机器人、数据等名单挖产业链。 适合跟踪AI人才与前沿项目的人,建议收藏。 详见: #AI# #人工智能# #FrontierList# #AI人才# #AI创业# #OpenAI# #Anthropic# #机器人# #AI实验室# #人才地图# #科技圈# #创业# #AI趋势# #硅谷#
顯示更多
0
10
27
11
轉發到社區
最近很多朋友问我,怎么从 SDE(Software Engineer)转到做 AI Infra 和大模型相关的工作? 或者普通人想做 Pro 级别的 AI 投资者,零基础怎么扫盲,怎么搞懂这么多术语?给大家推荐两个免费的入门友好的 AI 相关学习网站(课) 如果你要做基本的 AI 投资,看完第一个 Stanford CS336 课程也就差不多了。如果想专攻某个领域,可以看看第二个的公开课? 1. Stanford s开课 Stanford CS336 Language Modeling from Scratch 2. @AndrewYNg 创办的学习平台, 里面的课程非常多,点开你就使劲学吧,从 pre-training 到 post-training,从训练到推理,全都涵盖 链接⬇️ 不知道我的 follower 中有多少对这些感兴趣的。可能和投资不直接相关,但我觉得都是很好的认知提升课程。 有时间还是要多看教程、多看课、多读书,武装自己的大脑 如果有朋友感兴趣,我后续可以分享更多
顯示更多
0
48
610
111
轉發到社區
Agent 出错以后,到底该修模型,还是修 harness? Scale AI 这篇《Model or Harness?》专门研究 Agent 的故障定位。 今天的 Agent 已经是一个复杂系统:模型之外,还有 Context、Memory、Tool、Grader、用户和运行环境。最后看到的失败结果相同,背后的原因可能完全不同。 比如 Agent 忽略了一条早期指令。 可能是上下文压缩把它删掉了,需要改 harness;也可能信息一直都在,只是模型没有正确使用,这时才该训练模型。 论文整理了 41 类常见失败,并把每个问题定位到具体的「组件交互 + 责任方」。 这样一次失败就能进一步回答: 该做模型 post-training,改 context / memory / tool,还是重新设计环境和评测。 作者还让不同前沿模型独立给失败案例分类,最好的结果与人工标注达到 Cohen’s κ = 0.76,说明这套分类有一定一致性。 我觉得这篇很适合现在的 Agent 发展阶段。 随着 harness 越做越复杂,「Agent 失败了」这个结论已经太粗了。 真正有用的 debugging,要继续追到第一处无法恢复的错误,再决定到底该修哪一层。 📎 arxiv:
顯示更多
0
83
446
76
轉發到社區
很多人觉得 AI 的护城河是数据、GPU、模型,但越来越觉得不是 真正的护城河可能变成是 Research Culture + Research Leadership 大厂们频繁抢人背后是深深的焦虑 John Jumper(AlphaFold 核心负责人,2024 诺奖得主)离开 Google DeepMind 加入 Anthropic Noam Shazeer(transformer 作者之一,Gemini 核心负责人)离开 Google 加入 OpemAI Jonas Adler(Gemini Coding)和 Alexander Pritzel(Gemini Training)预计加入 Anthropic 因为 Frontier AI 已经进入下一个阶段,目前也不一定可以做出来,有 GPU 也不一定知道怎么训练。 真正稀缺的是那些踩过无数坑,又知道 scaling law 在哪里失效、知道 RL、pretraining、post training 每一步怎么调的人 就很像 NBA,球员(研究员)比球队(公司)更值钱
顯示更多
Axis @axisrobotics 最近又把任务机制往前推进了一步。 截至 8 月底,平台已经积累了 470 万条有效 Trajectories。 当数据积累达到这个规模后,下一阶段的核心挑战已经不只是持续扩大数据量,而是如何筛选和管理高价值数据。 尤其是那些复杂、高难度、容易失败的任务,应该由具备稳定能力的贡献者来完成,才能保证采集到的数据真正具备训练价值。 Axis 给出的解决方案,就是 Challenger Program。 简单理解,就是把一部分高难机器人任务单独锁起来,只开放给历史表现更稳定的贡献者。 每周会从过去的贡献记录里筛一批白名单,开放大约 20—50 个高难任务。 这部分奖励也更高: 完成一个 Challenger 任务,可以拿普通任务 2—3 倍 Axis Points。 但这个白名单不是看你某一天突然爆肝了多少。 Axis 看的是更长期的表现: 做过多少种不同任务、Pre-training 和 Post-training 有没有持续参与、验证通过率稳不稳,以及同一个任务里能不能长期保持在表现更好的一批里面。 所以一直刷最简单的任务,或者偶尔跑出一次高分,未必有用。 我个人还是挺喜欢这个机制的。 因为机器人训练数据真正有价值的,从来不只是数量。 尤其高难任务,如果全部扔进公共池,最后很容易收回来一堆数量很好看、但训练时不敢直接用的数据。 现在 Axis 相当于开始把贡献者也分层: 普通任务继续开放,让新人熟悉;真正值钱的难题,交给已经证明过自己的人。 这其实也说明,Axis 正从“全民采数据”慢慢走向更细的 数据质量管理。 白名单是每周刷新。如果 Portfolio 里的 Seek the Unseen 徽章亮了,就代表已经进入 Challenger。 高难任务每周一 16:00 SGT 放出,数量有限,先到先得。 UU们,快来和我一起参与吧: @KaitoAI #kaito#
顯示更多
0
112
54
0
轉發到社區