TwiScan
熱門
社區
帳號集合
登入
註冊
English
日本語
한국의
简体中文
繁体中文
註冊並分享邀請連結,可獲得影片播放與邀請獎勵。
立即註冊
AI Dance
@AI_Whisper_X
China AI insider | Silicon Valley Decoded 一边盯硅谷,一边扒中国AI 算法 + VC 双视角 · 讲人话 📬 aidance.info
@gmail
.com
加入 October 2024
293
正在關注
5.9K
粉絲
AI Dance
@AI_Whisper_X
2026.07.24 09:40
持续学习到底怎么落地?Mind Lab 用 LoRA 给了个解法 刚看 Mind Lab(Mindverse 旗下前沿实验室,成立还不到一年)出了 Macaron-V1 正式版。路线挺特别的,重点不在卷参数,是想让模型能从经验里接着学。 做法是用 LoRA 做后训练 RL,成本只有全参微调的 1/10。LoRA 模块像可插拔的经验单元:聊天、代码、UI、个人助理各训一个,基座共享,跑任务时按需组合(他们叫 MoL)。这么一来,模型就不再是训完定死的一套权重,能不断分化、把新经验吃进去。 感觉挺长一段时间里,LoRA 都被默认成“全参微调的打折平替”。他们这里有个我觉得挺有意思对 LoRA 的重新理解:base model 承载共性,adapter 承载个性(偏好、技能、工具习惯),说白了就是一块可写入、会随交互慢慢变的记忆。也是continual learning 这条路线,我目前看到最工程化的一份答卷。 Macaron-V1-Venti = 744B 的 GLM-5.2 基座 + 4×1B LoRA,一共 748B,原生支持 2M context: L0 Chat 管对话和指令 L1 Agent 管长程、动态工具任务(并入了Preview的OpenClaw LoRA) L2 Coding 管代码、SWE、终端 L3 UI/A2UI 管UI4A渲染和操作 至于为什么要拆成好几个 LoRA,他们的想法是:这些能力的思考流程差太远,全塞进一套 post-training 权重会互相干扰。MoL 让相似的技能共用一个 LoRA,差太多的各自单独训,再路由、组合;新增领域就加一个 adapter。 等 adapter 多起来,再让它们分工、组合、投票,就是他们所说的群体智能。 这条路也不是 Mind Lab 首创,John Schulman(OpenAI 联创、Thinking Machines首席科学家)那篇《LoRA without Regret》就是同一个方向。但全球能开万亿参数模型 RL 训练的 infra,目前就 Mind Lab 和 TML 两家。 不过Mind Lab是直接用国内最好的开源模型,最早2025年底在万亿参数Kimi K2上验证过RL后训练,Preview用GLM-5.1、Venti用GLM-5.2、Tall用Qwen-3.7-35b。拿这些现成的强基座来做,比 TML 从头做 Inkling 会更快(Inkling 现在的表现也明显还打不过 GLM 和 Kimi)。 商业化也很快:据团队披露,7 月启动商业化后2周达到 1000 万美元 ARR。 其实我会关注 Macaron-V1,很大一个背景是持续学习这个方向本身。 持续学习想解决的,是模型部署之后就不再进化这个老问题,让它能在真实使用里边用边学。 这方向最近越来越多重量级的人在点名。之前强化学习之父 Sutton 和 David Silver 提出“the era of experience”,说下一代 AI 拼的不再是喂数据,是从真实经历里持续学,他自己也去创业做了 Oak Lab 专攻这个。梁文锋最近四小时闭门会流出来,他给 DeepSeek 排的路线是 CoT → Agent → 持续学习,还说下一代模型不能持续学习,就不配叫下一代。 Macaron-V1 至少证明了这条路能工程化、也能商业化跑通。这种方向靠一两家撑不起来,挺期待接下来更多团队砸进来、多拿几个硬成果。真卷起来,应该会挺有意思。
顯示更多
0
0
2
3
0
轉發到社區
熱門用戶
New York Post
@nypost
4.1M 粉絲
オリコンニュース
@oricon
1.9M 粉絲
一劍浣春秋
@chee828
0 粉絲
Reuters
@Reuters
26.3M 粉絲
billboard
@billboard
16.5M 粉絲
Hello! Project Link
@UpFrontLink
15.5K 粉絲
BABYMONSTER
@YGBABYMONSTER_
956K 粉絲
吴说区块链
@wublockchain12
179.2K 粉絲
BOYNEXTDOOR
@BOYNEXTDOOR_KOZ
870.2K 粉絲
BLACKPINKOFFICIAL
@BLACKPINK
11.6M 粉絲
彭博商業周刊 / 中文版
@BloombergBWCN
41.5K 粉絲
ATEEZ(에이티즈)
@ATEEZofficial
4.8M 粉絲
Forbes
@Forbes
20.3M 粉絲
BTS_official
@bts_bighit
45.3M 粉絲
MLB
@MLB
0 粉絲