注册并分享邀请链接,可获得视频播放与邀请奖励。

Xudong Han
@Xudong07452910
🎓PhD ing @ University of Sussex | LLM & AI Agents 📖AI Agent Product Development 🛠️Sharing AI tech insights 📩DM for collab
加入 November 2020
630 正在关注    12.5K 粉丝
模型已经学会两项技能,能不能把它们直接组合成一项新能力? Google 团队这篇 SkillSmith,尝试让 LLM 同时读取任务说明和已有的 prefix weights,再为新任务生成一组新的参数技能。 比如模型已经学过翻译和法律文本分析,面对另一种语言的法律任务时,SkillSmith 会理解两项技能之间的关系,再合成更适合当前任务的新权重。 过去,经验可以写进 Prompt 和记忆,也可以通过微调存进参数。SkillSmith 把两种形式连接起来,让模型根据文字指令重新组合已有的参数技能。 消融实验中,同时使用文本和权重的效果明显优于只使用其中一种。 这篇工作重点是,它让模型权重也变成了一种可以读取、理解和组合的经验。 以后 Agent 积累技能,可能既会记录「学到了什么」,也会保存「已经学会怎么做」。 📎 arxiv:
显示更多