Anthropic 工程师 Barry Zhang 在 AI Engineer 工作坊上的一个分享 “如何构建有效的 Agent”,其中印象最深的一个观点:Don't build agents for everything,反过来理解就是别做什么都能干的 Agent,那是我们大模型要干的事情😆 构建有效 Agent 的三大要点:
1. 明智选择应用场景,并非所有任务都需要 Agent;
2. 找到合适的用例后,尽可能长时间地保持系统简单;
3. 在迭代过程中,尝试从 Agent 的视角思考,理解其局限并提供帮助;
Barry 主要负责 Agentic System,演讲内容基于他和 Eric 合著的一篇博文,下面详细总结他们的核心观点,以及对 Agent 系统的演进和未来的思考。
Agent 系统的演进
- 简单功能: 起初是简单的任务,如摘要、分类、提取,这些在几年前看似神奇,现在已成为基础;
- 工作流(Workflows): 随着模型和产品成熟,开始编排多个模型调用,形成预定义的控制流,以牺牲成本和延迟换取更好性能。这被认为是 Agent 系统的前身;
- Agent: 当前阶段,模型能力更强,领域特定的 Agent 开始出现。与工作流不同,Agent 可以根据环境反馈自主决定行动路径,几乎独立运作;
- 未来(猜测): 可能是更通用的单一 Agent,或多 Agent 协作。趋势是赋予系统更多自主权,使其更强大有用,但也伴随着更高的成本、延迟和错误后果。
核心观点一
并非所有场景都适合构建 Agent (Don't build agents for everything)
- Agent 主要用于扩展复杂且有价值的任务,它们成本高、延迟高,不应作为所有用例的直接升级。对于可以清晰映射决策树的任务,显式构建工作流(Workflow)更具成本效益和可控性。
- 何时构建 Agent 的检查清单:
1. 任务复杂度 : Agent 擅长处理模糊的问题空间。如果决策路径清晰,应优先选择工作流;
2. 任务价值: Agent 的探索性行为会消耗大量 token,任务的价值必须能证明其成本。对于预算有限(如每任务 10 美分)或高容量(如客服)场景,工作流可能更合适;
3. 关键能力的可行性 : 需确保 Agent 在关键环节(如编码 Agent 的编写、调试、错误恢复能力)不存在严重瓶颈,否则会显著增加成本和延迟。如有瓶颈,应简化任务范围;
4. 错误成本与发现难度: 如果错误代价高昂且难以发现,就很难信任 Agent 自主行动。可以通过限制范围(如只读权限、增加人工干预)来缓解,但这也会限制其扩展性;
- 编码(Coding)是一个很好的 Agent 用例,因为它任务复杂(从设计文档到 PR)、价值高、现有模型(如 Claude)在许多环节表现良好,且结果易于验证,例如单元测试、CI。
核心观点二
保持简单 (Keep it simple)
- Agent 的核心结构: 模型(Model)+ 工具(Tools)+ 循环(Loop)在一个环境(Environment)中运作。
- 三个关键组成部分:
1. 环境:Agent 操作所在的系统;
2. 工具集: Agent 采取行动和获取反馈的接口;
3. 系统提示: 定义 Agent 的目标、约束和理想行为;
- 迭代方法: 优先构建和迭代这三个基本组件,能获得最高的投资回报率。避免一开始就过度复杂化,这会扼杀迭代速度。优化(如缓存轨迹、并行化工具调用、改进用户界面以增强信任)应在基本行为确定后再进行。
- 一致性: 尽管不同 Agent 应用(编码、搜索、计算机使用)在产品层面、范围和能力上看起来不同,但它们共享几乎相同的简单后端架构。
核心观点三
像 Agent 一样思考 (Think like your agents)
- 问题: 开发者常从自身角度出发,难以理解 Agent 为何会犯看似反常的错误;
- 解决方法: 将自己置于 Agent 的“上下文窗口”中。Agent 在每一步的决策都基于有限的上下文信息(如 10k-20k token);
- 换位思考练习: 尝试从 Agent 的视角完成任务,体验其局限性(例如,只能看到静态截图,在推理和工具执行期间如同“闭眼”操作)。这有助于发现 Agent 真正需要哪些信息(如屏幕分辨率、推荐操作、限制条件)以避免不必要的探索;
- 利用模型自身: 可以直接询问模型(如 Claude):指令是否模糊?是否理解工具描述?为什么做出某个决策?如何帮助它做出更好的决策?这有助于弥合开发者与 Agent 之间的理解差距。
个人思考与未来展望
- 预算感知 Agent (Budget-aware Agents): 需要更好地控制 Agent 的成本和延迟,定义和强制执行时间、金钱、token 预算,以便在生产环境中更广泛地部署。
- 自进化工具 (Self-evolving Tools): Agent 或许能设计和改进自己的工具(元工具),使其更具通用性,能适应不同用例的需求。
- 多 Agent 协作 (Multi-agent Collaboration): 预计今年年底将在生产中看到更多多 Agent 系统。其优势包括并行化、关注点分离、保护主 Agent 上下文窗口等。关键挑战在于 Agent 间的通信方式,如何实现异步通信,超越当前的用户-助手轮流模式。
显示更多
GitHub 上一个 7.4w star 的项目,最近刷屏了。
项目名字叫 generative-ai-for-beginners,是微软官方推出的生成式 AI 入门课程。
我本来以为又是那种“看起来很全、实际全是概念”的合集,结果点进去看了两节,直接被惊艳到。
这不是东拼西凑的博客整理,而是真正按照 「怎么一步步做出 AI 应用」 的逻辑来设计的课程体系。
它从 Prompt Engineering 开始教你怎么和模型高效对话、如何精准控制输出;然后自然过渡到 RAG、向量数据库、Fine-tuning、AI Agent、安全等内容。
顺序特别重要。
很多人学 AI 最大的痛苦不是学不会,而是一上来就被 RAG、MCP、Function Calling、Agent、LoRA 等一堆名词砸懵,完全不知道该先学什么、整个链路怎么串起来。
这个课程最牛的地方就在于,它把「为什么先学这个,后学那个」讲得特别清楚,每一节都有明确的 Learning Goals,不会让你学着学着就迷路。
更关键的是——它极度注重实操。
几乎每节都配了 Jupyter Notebook,打开就能跑。你改几个 Prompt,调一下 temperature、top_p,模型输出立刻变化;RAG 那部分更是手把手带你:
• 如何切分本地文档
• 如何生成 Embedding
• 如何存入向量数据库
• 如何检索 + 喂给模型生成答案
后面 Fine-tuning 讲 LoRA 轻量微调,Agent 部分演示模型如何调用工具完成多步任务。
刷到后面你会突然明白:现在市面上很多 AI 产品,本质上就是把这些模块聪明地拼在一起而已。
最离谱的是,这套课程完全免费,还有中文翻译。
现在很多人一想学 AI,第一反应就是去报各种付费课。但很多付费课其实也是把官方文档换个说法重新讲一遍。
而微软自己做的这套体系化内容,反而更适合想真正从零构建知识框架的人。
我的建议是:
如果你想系统地学生成式 AI,与其每天刷碎片信息、被各种新名词牵着鼻子走,不如直接把这个仓库从头过一遍。
至少你脑子里会先有一张清晰的地图。
仓库地址:
强烈推荐给正在学 AI 的朋友
显示更多
For our Chinese-speaking audience — this briefing is recorded in Mandarin below. 🇨🇳
美国只字未提台湾。中方率先提出。
特朗普-习近平峰会 — 第1天,共4天。一个视角,无偏私。
24小时峰会报道。两个房间。4分钟。
显示更多
ChatGPT for Google Sheets 是 OpenAI 上个月刚推出的 Google 表格 AI 插件,用户可以在侧边栏直接用 ChatGPT 处理表格数据,上线不到一个月下载量就超过了 18.5 万次。
但安全公司 PromptArmor 发现,这个插件有权限执行脚本、读取和编辑你的工作簿,而这些权限可以被攻击者劫持。攻击者只需要在一个共享表格中藏一段白色隐藏文字,就能在你毫不知情的情况下窃取你整个 Google 账户里的工作簿。
比如同事分享了一个 Google 表格给你,或者你从网上找了一份公开数据集导入自己的工作簿来用。这些都是日常操作,但攻击者可以在这些表格里藏一段白色文字(背景白色、字体白色,肉眼看不见),你打开表格完全不会注意到。
当 ChatGPT 帮你处理这些数据时,这段隐藏指令被一起读取并触发,ChatGPT 被操纵去执行一个外部脚本。脚本利用插件的权限,把你当前工作簿的内容发送到攻击者的服务器。
然后脚本会在被偷走的数据里寻找其他工作簿的链接,继续偷,像蠕虫一样扩散。在 PromptArmor 的演示中,一次攻击最终偷走了 12 个工作簿。
ChatGPT for Sheets 有一个「编辑前需要人工确认」的安全设置,专门防止 AI 未经授权就执行操作。只不过这个攻击在用户明确开启了该设置的情况下依然有效,因为它触发的是脚本执行,不是表格编辑,绕过了这道防线。点击侧边栏的「停止」按钮也拦不住已经开始运行的脚本。
除了偷数据,同样的漏洞还能让攻击者用一个假的 ChatGPT 界面替换掉侧边栏里真正的 ChatGPT。替换之后,你以为自己还在跟 ChatGPT 对话,实际上所有提问都被攻击者收集了。攻击者甚至可以弹出一个钓鱼窗口,骗你输入 OpenAI 密码。
PromptArmor 在 5 月 8 日向 OpenAI 提交了漏洞报告,OpenAI 回了一封自动回复。之后 PromptArmor 在 5 月 12 日和 5 月 18 日分别跟进了一次,没有收到任何实质性回应。5 月 27 日,PromptArmor 决定公开披露。
直到 5 月 31 日,OpenAI 才正式回应,承认「这个报告在我们的披露流程中被遗漏了」,并表示已经移除了模型生成 Apps Script 代码的能力,「这应该能消除 ChatGPT for Google Sheets 用户面临的风险」。
从报告提交到漏洞修复,历经 23 天。
Google Workspace 管理员可以在「Workspace 设置 > 权限与角色 > ChatGPT for Excel and Google Sheets」中关闭组织内对该插件的访问。
显示更多