模型已经学会两项技能,能不能把它们直接组合成一项新能力?
Google 团队这篇 SkillSmith,尝试让 LLM 同时读取任务说明和已有的 prefix weights,再为新任务生成一组新的参数技能。
比如模型已经学过翻译和法律文本分析,面对另一种语言的法律任务时,SkillSmith 会理解两项技能之间的关系,再合成更适合当前任务的新权重。
过去,经验可以写进 Prompt 和记忆,也可以通过微调存进参数。SkillSmith 把两种形式连接起来,让模型根据文字指令重新组合已有的参数技能。
消融实验中,同时使用文本和权重的效果明显优于只使用其中一种。
这篇工作重点是,它让模型权重也变成了一种可以读取、理解和组合的经验。
以后 Agent 积累技能,可能既会记录「学到了什么」,也会保存「已经学会怎么做」。
📎 arxiv:
顯示更多