Xudong Han(@Xudong07452910):互联网上的大量教程视频，可能正是 Agent 最缺的技能库。微软团队这篇 Resource2Skill，尝试把人类制作的视频教程、代码仓库、文章和参考作品，自动转化成 Agent 可以直接使用的技能。它把这些经验整理进一个多模态 Skill Wiki。每项技能都可以包含文字说明、代码、视觉示例和来源信息。视频负责保留操作顺序和视觉变化，代码提供可执行的方法，文章和参考作品补充概念与风格。面对新任务时，Agent 会先从 Wiki 中找到相关技能，再组合执行。现有技能覆盖不足时，它还可以继续上网搜索资源，生成新的临时技能。论文在 PPT、Excel、网页、Blender、CAD、UE5 和音频制作七个领域测试，加入技能后平均得分提升 11.9 个百分点，并在全部 28 个模型与领域组合中超过无技能版本。这篇工作把互联网里的「人类操作经验」，从只能观看的内容，变成了 Agent 可以复用的程序性知识。未来 Agent 的技能库，可能不需要全部由人手写。大量教程、演示和优秀作品，本身就是尚未被整理的训练资源。 📎 arxiv:

2026.07.23 03:38

互联网上的大量教程视频，可能正是 Agent 最缺的技能库。微软团队这篇 Resource2Skill，尝试把人类制作的视频教程、代码仓库、文章和参考作品，自动转化成 Agent 可以直接使用的技能。它把这些经验整理进一个多模态 Skill Wiki。每项技能都可以包含文字说明、代码、视觉示例和来源信息。视频负责保留操作顺序和视觉变化，代码提供可执行的方法，文章和参考作品补充概念与风格。面对新任务时，Agent 会先从 Wiki 中找到相关技能，再组合执行。现有技能覆盖不足时，它还可以继续上网搜索资源，生成新的临时技能。论文在 PPT、Excel、网页、Blender、CAD、UE5 和音频制作七个领域测试，加入技能后平均得分提升 11.9 个百分点，并在全部 28 个模型与领域组合中超过无技能版本。这篇工作把互联网里的「人类操作经验」，从只能观看的内容，变成了 Agent 可以复用的程序性知识。未来 Agent 的技能库，可能不需要全部由人手写。大量教程、演示和优秀作品，本身就是尚未被整理的训练资源。 📎 arxiv:

Forward to community