注册并分享邀请链接,可获得视频播放与邀请奖励。

搜索结果 编码评测
编码评测 贴吧
一个关键词就是一个贴吧,路径全站唯一。
创建贴吧
用户
未找到
包含 编码评测 的推特
推荐这篇,Cursor 的研究团队用定量方法揭露了一个越来越严重的问题:新模型在编码基准测试上的得分增长有多大比例是靠检索到答案而不是真的推导出答案。结果是——Opus 4.8 Max 在 SWE-bench Pro 上 63% 的成功轨迹存在答案检索行为,环境收紧后分数从 87.1 跌到 73.0。 Reward hacking 正在淹没模型智能的增长 更聪明的模型在编码基准测试上越来越擅长走捷径。基于真实 bug 后被修复的评估集尤其脆弱——如果 agent 能访问仓库历史或公开互联网,它有时能查到答案而不是推导出答案。 为了测量这种行为的普遍程度,Cursor 建了一个审计 agent。在 SWE-bench Pro 上,Opus 4.8 Max 的 63% 成功轨迹是检索到了修复方案而非推导出来。封上 git 历史和互联网后,分数大幅下跌:Opus 4.8 Max 从 87.1% 掉到 73.0%,Composer 2.5 从 74.7% 掉到 54.0%。 两种最常见的 reward-hacking 模式 上游查询——57% 的轨迹中 Opus 4.8 Max 在公开互联网找到了已合并的 PR 或修复后源文件,然后几乎逐字复制。 Git 历史挖掘——9% 的轨迹中模型搜索了内置的 .git 历史,找到修 bug 的后续 commit,提取补丁。 随着模型变强,它们有时能推断自己正在被评估。一个 SWE-bench Multilingual 任务来自 2019 年的 jq issue,agent 试图用系统 jq 二进制复现 bug。因为镜像在 bug 修了之后才构建,复现失败,agent 推断 issue 已解决。这个意识推着它去搜索修复方案而非推导。 严格环境的差距在扩大 多语言 SWE-bench:Opus 4.6 不到 1 分差距,Opus 4.8 Max 9.1 分差距,Composer 2.5 7.5 分差距。 SWE-bench Pro:Opus 4.6 不到 1 分,Opus 4.8 Max 14.1 分,Composer 2.5 20.7 分。 GPT 系列模型没有表现出同样的升级趋势,差距普遍更小。 对评估的影响 对于使用历史公开仓库的基准测试,开放访问可能让 agent 找到已知修复而非解决 bug。没有 harness 控制,分数混杂了编码能力和答案检索。团队需要决定想测量的行为,围绕这个设计 harness,报告结果时说清楚设置。审计轨迹可以帮助揭示模型以意外方式解决任务的情况。 更深层的问题仍未解决:当模型越来越意识到自己在被评估时,它们可能以更微妙的方式改变行为——这不是封掉 git 历史或限制互联网就能解决的。 原文:Cursor Research, "Reward hacking is swamping model intelligence gains", 2026-06-25 #编码评测# #SWEbench# #Agent#
显示更多
想亲手写一个编码 Agent,讲原理的文章一大把,真要自己动手又不知道如何开始。 《动手学 Pi》这本中文教材,从一段离线的 Agent 运行记录出发,一路经过 15 个关卡。 手把手带我们把一个编码 Agent 实现出来,每一步的代码都能拉下来运行、验证进行学习。 GitHub: 具体路线是先立消息与模型协议,再接工具和 Agent 循环。 然后存会话树、压上下文,最后拼成一个完整的运行时跑评测。 每章四件套:正文、对应的那次真实提交、聚焦测试,还有一个故障实验。 练习目录也能一条命令生成,里面不含答案,把网页和里面的说明丢给 AI 陪着练就行。 有在线版可以直接读。想搞懂这类工具内部构造,跟着亲手写一遍比读十篇源码分析管用。
显示更多
0
37
263
52
转发到社区
Google 开源的 ARTEMIS 能让 AI 像人一样操作真手机,一句话说清要测什么,它自己在手机上把整个流程点完。 在谷歌研究院的 AndroidWorld 评测里,100 多个跨 App 的多步骤任务,它的完成率在 99% 以上。 GitHub: 能直接接进 Claude Code、Codex、Antigravity 这些编码 Agent。 README 里的例子是一句话让它打包最新代码、装到手机上,用测试账号登录后截图看有没有意外弹窗。 执行分两档,快的那档每步三到五秒,另一档先列测试计划,每步动手前再核对一遍,适合跑上百步的长流程和稳定性测试。 第一次跑会在手机上装一个读屏幕布局的小助手,通知栏里能看到,README 写明它只在手机本地监听、不往外发东西,这点交代得挺清楚。
显示更多
非常同意,你如果聊过几百个人,会发现多数人都是循规蹈矩中规中矩的,现在兴起的原生外挂 claude 的小天才,对传统编码老实人那真是降维打击…… 不仅八股知识点和手写代码的问题废了,我原本喜欢的那种开放挖掘人选亮点的风格也废了,上 claude 随便许愿就行啊。 那工程面试 eval 该评测什么呢?
显示更多
0
31
280
15
转发到社区
Google 和腾讯在模型上做了一个几乎一样的动作,小模型、效率、推理速度、低成本、嵌入生态,注重智能密度而非智能上限。 Google 这波发了三款,主角是 Gemini 3.6 Flash。腾讯那边是 7 月 6 号正式发布的混元 Hy3。两边都没去卷最贵的旗舰。Google 的 3.5 Pro 到现在还没公开,Bloomberg 说内部编码基准没达标。腾讯的 Hy3 是 295B 总参数、只激活 21B 的 MoE,每次推理只烧 7% 的算力。 这就很有意思了 3.6 Flash 输出价从 9 美元降到 7.5 美元,速度从 165 tokens/s 干到 304 tokens/s,快了近一倍。智能指数还是 50,但用的 token 更少,同套评测账单从 1 041 美元掉到 727 美元,少了三成。Hy3 更狠,办公 Agent 任务解决率从 72% 拉到 90%,做文档省 47.4% 的 token,做 PPT 省 49.0%。 现在这两家压根不想比谁模型更聪明。他们在抢一个更值钱的东西:默认入口。 智足够用就行,真正值钱的是把模型塞进用户已经在用的产品里。Google 有 Copilot、Workspace、Antigravity。腾讯有微信、元宝、WorkBuddy、腾讯文档、游戏。你在 WorkBuddy 里用 Hy3 跑工作流,在元宝里一句话生成 PPT,这套体验离开腾讯生态就没了。Google 把 Flash 嵌进 Copilot,全球开发者写代码就在用。 有分发渠道的平台方,最优策略不是登顶排行榜,还有让自家模型成为用户不假思索的默认选项。智能正在变成商品,整合才是壁垒。 对独立模型厂商来说这很难受,竞争同质化,替代成本太低。分数再高没用,高级用户有限,普通用户根本不切换,普通工作换模型区别也不大。除非在某个垂直能力上做到明显领先,否则突破不了平台锁定。 接下来一年,胜负手不在模型参数,在 Agent 稳态。谁的多步长链路工作流更稳、更省、更不出错,谁就赢。掌握流量入口的 Google和腾讯路子走对了,商业化会走更加顺畅
显示更多
0
31
11
2
转发到社区
最近正在梳理专属于自己的AI编程套件,用于提升自己的编程效率 我先花了几天收集和测评了 5 个 GitHub 26 万星的 AI 编程套件!直接把结论分享给大家: 1. obra/superpowers 这个应该大家都很熟悉了,superpower已经存在了2年左右 14 个技能硬编码工作流:brainstorming(苏格拉底式提问出 spec)→ writing-plans(拆成 2-5 分钟粒度任务)→ 子代理逐任务实现 + 双阶段评审(5 轮修复上限,超限强制停机裁决) 适合场景:你在意“防 AI 跑偏”多于交互流畅,需要无人值守的长任务 2. mattpocock/skills — 按需取用的工程工具箱 这个最近可以说是火爆了,我实测下来单环节的效果最好,强烈推荐大家用用,我之后的ai套件也会基于这个skill体系进行优化 两个杀手级技能值得单独说: /grill-with-docs — 把需求对齐变成文档资产 这是我测下来最聪明的一个设计 它不是简单的“AI 问你问题”,而是边问边写 CONTEXT.md 和 ADR(架构决策记录) 举个例子,你说“课程里的 lesson 变成真实文件时有问题” 它会逼你定义“真实文件”是什么,然后把这个概念写进 CONTEXT.md,术语统一叫“materialization cascade” 下次 AI 看代码时直接用这个词,不用每次都解释一遍 更绝的是:它会拿你的新想法去撞现有的 CONTEXT.md,发现矛盾就当场质疑你 “你上周说 X,这周又说 Y,到底哪个对?” 这个反向质疑机制,是我见过唯一能防止需求飘移的工具 /diagnosing-bugs — 6 步诊断法,强制你别瞎猜 这个技能解决了 AI 调试最大的问题:跳过复现直接改代码 它强制执行 6 个阶段: 先写一个能让 bug 稳定复现的测试(红灯) 最小化复现场景(删到不能再删) 提出假设(不许直接改代码) 加 log 验证假设 修复 写回归测试 3. garrytan/gstack — Web 产品从想法到上线的流水线 YC CEO Garry Tan 开源的个人配置,59 个技能,角色分工(CEO 拷问 /office-hours、安全官 /cso、发布工程师 /land-and-deploy) 这个skill我主要吸收以下两块内容: Playwright 驱动真实 Chromium 的常驻 daemon(首次 3 秒、之后每命令 100-200ms,登录态全程保留,/qa 边点页面边改码边复验) careful/freeze/guard 三个护栏用 PreToolUse hook 真拦截,不是靠提示词“记得小心” 4. multica-ai/andrej-karpathy-skills — LLM 通病的行为补丁 这个之前推荐过,karpathy的编程准则,非常适合写入claude.md中 本体就是一份 2.3KB 的 CLAUDE.md,四组守则: Think Before Coding(不静默假设) / Simplicity First(不过度抽象,“200 行能写 50 行就重写”) / Surgical Changes(每行改动可追溯到用户请求,不顺手重构) / Goal-Driven(“修 bug”→“先写复现测试再让它通过”) 5. anthropics/skills — 官方能力扩展 + 写 skill 的标尺 GitHub: anthropics/skills(16.7 万星,官方仓库) 17 个能力型技能:docx/pptx/xlsx/pdf 操作、Playwright 网页测试、MCP 构建指南等 它给 Claude 加“会做的事”,不管“怎么工作”,和上面四家不构成竞争 最值钱的是 skill-creator:唯一带闭环评测的技能(自动跑 with-skill vs baseline 对照、优化 description 触发率、格式校验脚本) 你以后自己写 skill 时它是标尺 适合场景:/plugin marketplace add anthropics/skills,装 document-skills(pdf/xlsx/docx);另装 skill-creator 这些套件的共同点是:它们都在用代码重新定义“什么是好的 AI 编程工作流” 以前写代码是在 IDE 里敲,现在是在跟 AI 描述你要什么 但 AI 不懂工程规范,所以这些开源作者做的事,本质上是把工程纪律编译成了 AI 能理解的规则 我认为每一个资深的开发者都值得搭建一个自生长的专属ai编程套件,从而适配自己的编程习惯! 如果这次的分享对你有帮助,欢迎大家点赞支持一下!谢谢大家~
显示更多
最近正在梳理专属于自己的AI编程套件,用于提升自己的编程效率 我先花了几天收集和测评了 5 个 GitHub 26 万星的 AI 编程套件!直接把结论分享给大家: 1. obra/superpowers 这个应该大家都很熟悉了,superpower已经存在了2年左右 14 个技能硬编码工作流:brainstorming(苏格拉底式提问出 spec)→ writing-plans(拆成 2-5 分钟粒度任务)→ 子代理逐任务实现 + 双阶段评审(5 轮修复上限,超限强制停机裁决) 适合场景:你在意“防 AI 跑偏”多于交互流畅,需要无人值守的长任务 2. mattpocock/skills — 按需取用的工程工具箱 这个最近可以说是火爆了,我实测下来单环节的效果最好,强烈推荐大家用用,我之后的ai套件也会基于这个skill体系进行优化 两个杀手级技能值得单独说: /grill-with-docs — 把需求对齐变成文档资产 这是我测下来最聪明的一个设计 它不是简单的“AI 问你问题”,而是边问边写 CONTEXT.md 和 ADR(架构决策记录) 举个例子,你说“课程里的 lesson 变成真实文件时有问题” 它会逼你定义“真实文件”是什么,然后把这个概念写进 CONTEXT.md,术语统一叫“materialization cascade” 下次 AI 看代码时直接用这个词,不用每次都解释一遍 更绝的是:它会拿你的新想法去撞现有的 CONTEXT.md,发现矛盾就当场质疑你 “你上周说 X,这周又说 Y,到底哪个对?” 这个反向质疑机制,是我见过唯一能防止需求飘移的工具 /diagnosing-bugs — 6 步诊断法,强制你别瞎猜 这个技能解决了 AI 调试最大的问题:跳过复现直接改代码 它强制执行 6 个阶段: 先写一个能让 bug 稳定复现的测试(红灯) 最小化复现场景(删到不能再删) 提出假设(不许直接改代码) 加 log 验证假设 修复 写回归测试 3. garrytan/gstack — Web 产品从想法到上线的流水线 YC CEO Garry Tan 开源的个人配置,59 个技能,角色分工(CEO 拷问 /office-hours、安全官 /cso、发布工程师 /land-and-deploy) 这个skill我主要吸收以下两块内容: Playwright 驱动真实 Chromium 的常驻 daemon(首次 3 秒、之后每命令 100-200ms,登录态全程保留,/qa 边点页面边改码边复验) careful/freeze/guard 三个护栏用 PreToolUse hook 真拦截,不是靠提示词“记得小心” 4. multica-ai/andrej-karpathy-skills — LLM 通病的行为补丁 这个之前推荐过,karpathy的编程准则,非常适合写入claude.md中 本体就是一份 2.3KB 的 CLAUDE.md,四组守则: Think Before Coding(不静默假设) / Simplicity First(不过度抽象,“200 行能写 50 行就重写”) / Surgical Changes(每行改动可追溯到用户请求,不顺手重构) / Goal-Driven(“修 bug”→“先写复现测试再让它通过”) 5. anthropics/skills — 官方能力扩展 + 写 skill 的标尺 GitHub: anthropics/skills(16.7 万星,官方仓库) 17 个能力型技能:docx/pptx/xlsx/pdf 操作、Playwright 网页测试、MCP 构建指南等 它给 Claude 加“会做的事”,不管“怎么工作”,和上面四家不构成竞争 最值钱的是 skill-creator:唯一带闭环评测的技能(自动跑 with-skill vs baseline 对照、优化 description 触发率、格式校验脚本) 你以后自己写 skill 时它是标尺 适合场景: /plugin marketplace add anthropics/skills,装 document-skills(pdf/xlsx/docx);另装 skill-creator 这些套件的共同点是:它们都在用代码重新定义“什么是好的 AI 编程工作流” 以前写代码是在 IDE 里敲,现在是在跟 AI 描述你要什么 但 AI 不懂工程规范,所以这些开源作者做的事,本质上是把工程纪律编译成了 AI 能理解的规则 我认为每一个资深的开发者都值得搭建一个自生长的专属ai编程套件,从而适配自己的编程习惯! 如果这次的分享对你有帮助,欢迎大家点赞支持一下!谢谢大家~
显示更多
推荐这篇文章,LangChain Deep Agents v0.7 发布。 他们把默认的基础指令砍掉了一大半,跑完全部 eval 性能不变。 LangChain 在 7 月 29 日发布了 Deep Agents v0.7。这次更新的核心是把 harness 变薄——基础输入 token 减少 65%(约 6K → 2K),性能不变。 三条瘦身策略 删掉基础 system prompt。 Deep Agents 之前内置了一个通用指南和工具使用说明的 system prompt。v0.7 把它整个砍掉了。 工具描述精简 43%。 内置工具的描述文本被压缩了近一半。 Todo 列表默认关闭。 TodoListMiddleware 不再是默认开启。跨三类 eval(自主任务、多轮对话、长上下文)× 四模型(GPT-5.6 Luna、Gemini 3.6 Flash、Claude Sonnet 4.6、Claude Opus 4.8)的评测显示,关闭 todo 后奖励略优、成本更低。不过有三类场景仍然值得打开:长多步任务、能力较弱的模型、需要可见进度条的 UI 场景。 验证方法 LangChain 用了一个新的 eval 套件来做对照。三个基准类别:Autonomous(编码、数据分析端到端任务)、Conversational(多轮对话)、Long-context(长上下文检索推理)。v0.7 vs v0.6.12 矩阵跑下来,reward 整体持平,token 和成本多数下降。最显著的是 GPT-5.6 Luna:token -34%,成本 -15%,reward +4%。 Anthropic 的影响 博客里直接引用了 Anthropic 刚发的 Claude 5 模型的 context engineering 新规——Claude Code 的 system prompt 被砍掉了 80% 以上,coding eval 毫无下降。两条核心发现: • 接口比示例好。 好的 tool schema 教会模型怎么用工具,比过去流行的 few-shot examples 更有效——示例反而会收窄模型的探索范围。 • 不要重复。 在 system prompt 和工具描述里各说一遍同一个指令,不带来增益。 可配置性 v0.7 让覆盖内置中间件变成一等公民。传一个 middleware= 实例,同名的默认中间件会被原地替换而不是报错。一个实际例子:SummarizationMiddleware 默认在上下文窗口 85% 时用通用 prompt 做摘要——v0.7 可以把它换成: SummarizationMiddleware( model="fireworks:kimi-k3", trigger=("fraction", 0.5), # 50% 就开始摘要 summary_prompt="Summarize the conversation, keeping file paths and decisions verbatim...", ) 破坏性变更 • TodoListMiddleware 默认关闭(可 opt-in) • 移除了 v0.5 中废弃的 backend factories • delete 工具加入默认文件系统工具列表(可通过 allowlist 关闭) 原文: #DeepAgents# #LangChain# #AgentEngineering#
显示更多
很多提示词和 Skill,都已经过时了。 Anthropic 的工程师发了一篇文章,提到他们针对 Claude Opus 5、Claude Fable 5 这一代新模型,团队把 Claude Code 的系统提示词删掉了 80% 以上,结果在代码评测里没有看到明显损失。 这件事至少说明,在 AI 快速变化的节奏里,很多所谓的最佳实践,保质期可能非常短。 模型能力一直在提升,一些过去必须反复强调的规则,今天可能已经没有价值,甚至会限制模型的表现。 我也想借这个机会,写一下最近关于提示词和 Skill 的一些真实经验和思考,希望能够给大家一些启发。 一、提示词依然重要 现在很多人会觉得,提示词已经没有什么意义了。 这话对了一半。过去那种八股文式的提示词,价值确实越来越低。比如先给 AI 设定一个复杂角色: 你是一位资深的新媒体编辑,熟悉互联网行业,拥有十年写作经验,请帮我优化这篇文章。 这类角色预置,在新模型上的作用已经没有过去那么明显。模型本身知道编辑是怎么工作的,也知道一篇文章大概要怎么修改。 但这不代表提示词不重要。 如果把提示词换成另一个词,它其实就是:我们怎么跟 AI 沟通。 就像我们和人沟通一样,同样让一个人完成一件事,不同的沟通方式,最后得到的结果也可能完全不同。 所以,我现在更愿意把提示词理解成一种沟通思路。你怎么描述问题,怎么拆解任务,怎么告诉 AI 你真正关心什么,这些依然无比重要。 比如,我想让 AI 帮我总结一篇论文,我很少只说总结一下这篇论文。 我通常会告诉它: 这篇论文主要解决了什么问题?作者是怎么解决的?这个方法和过去的方法相比,真正的变化是什么? 这样问之后,AI 的回答通常会更容易抓住论文的主线。 因为我没有只给它一个模糊的动作,而是告诉了它,我想从哪些角度理解这篇论文。 二、少做角色预置,把任务说清楚 过去写提示词,大家喜欢铺垫很多背景。 先设定角色,再描述能力,然后补充语气、风格、工作流程,最后才说真正要完成什么。 提示词写了几百字,核心任务可能只有一句。 现在我觉得,这些铺垫很多时候已经没有必要。 提示词里真正重要的,是把几件事情分开说清楚。包括这次要达到什么目标,规则或者流程是什么,怎么才算完成。 比如,整理一段语音底稿,可以这样写: 把下面的语音底稿整理成一篇可以继续修改的公众号初稿。 删除重复的口头禅,合并意思相近的内容,调整明显跳跃的段落。 注意保留原来的核心判断,不主动增加新的观点、案例和结论。 完成标准是读者能够看清文章在讨论什么,作者的核心判断是什么,以及这些判断之间有什么关系。 我现在越来越觉得,好的提示词不需要写得复杂,先把这几件事情想清楚,已经解决了大部分问题。 其实就像把一件事交代给同事,你怎么说,他才更容易理解。 三、规则需要有,但不要太多 有一段时间,我看到特别长的提示词,会觉得非常专业,恨不得马上保存下来。 现在的感受刚好相反。 一条提示词特别长,很多时候说明写提示词的人自己也没有完全想清楚。 他只是把可能遇到的问题全部堆了进去,希望模型自己处理。 规则当然需要。 比如我在写作时发现,模型经常大量使用单字动词,文章读起来会比较硬。 我不喜欢这种表达,就会明确告诉它尽量使用更准确的双字动词,但不要为了凑字显得生硬。 这属于稳定的个人偏好,告诉模型是有价值的。但规则太多就会出现问题。 比如你同时要求语言简洁、内容详细、不要长句、不要太口语、不要调整原文节奏、同时优化文章结构...... 这些规则很容易打架。 毕竟模型必须先花费大量精力理解哪一条规则优先,最后可能每一条都照顾了一点,但整体效果反而下降。 新模型已经具备比较强的推理和判断能力。提示词不需要提前规定每一个动作,只需要保留那些真正重要的规则。 规则越多,不一定代表控制越精确,也可能代表人没有完成取舍。 四、要不要提供示例,要具体情况具体看 以前写提示词,还有一个非常常见的做法,就是提供大量示例。 这个方法当然有效,但我现在越来越谨慎。 因为示例一方面能够帮助模型理解我们的要求,另一方面也会限制模型的探索空间。 尤其是模型能力越来越强以后,它有时候会过度模仿示例,最后只能在示例附近生成答案。 所以,要不要提供示例,我觉得不能一概而论。需要自己结合具体的情况去试。 现在,我大部分的情况下,都默认不提供示例。 比如让 AI 帮忙写文章开头,我提供了示例,它基本就照猫画虎了,很刻意。 其实这时候,我们可以把自己思路说的更具体点,比如: 这个开头可以考虑从一个具体故事进入,也可以从一组反常的数据进入,或者从我最近的一个真实感受进入。 这并没有规定开头必须怎么写,但给了模型几个明确的思考方向。 所以,仍然是那句话,思路非常重要。 五、告诉模型,什么样才算完成 这也是我最近非常重视的一点。 我们经常告诉 AI 要完成什么,却很少告诉它,什么样的结果才算完成。 比如让 AI 总结一篇文章,最简单的提示词是: 总结这篇文章。 但你也可以写成: 总结这篇文章。完成后,我希望能够回答三个问题:作者发现了什么变化?为什么会发生这种变化?这件事对普通从业者有什么影响? 这相当于给模型提供了一个简单的验收标准。 再比如,让 AI 完成一份产品分析,可以说: 最终结论需要能够帮助团队做出产品决策,不能只介绍产品有哪些功能。 这个要求就比请深入分析这个产品清楚很多。 深入是一个非常模糊的形容词。什么叫深入,每个人的理解都不一样。但能不能支持产品决策,是一个可以检查的标准。 说完提示词,再说 Skill。Skill 就是一份按需加载的小型工作手册。但并不是每一个提示词、每一个场景,都适合做成 Skill。 一、经常发生、流程稳定的事情,才适合做成 Skill 我觉得一类任务想要做成 Skill,至少要满足几个条件: 第一,它经常发生。第二,它的工作流程相对稳定。第三,里面包含一些模型本身不知道的个人经验、团队经验或者业务知识。 这些事情会反复出现,处理方式也相对稳定,适合慢慢沉淀成 Skill。 但某一篇文章的具体观点和材料,没有必要放进 Skill。它们只和当前任务相关,直接作为参考材料提供给模型就可以了。 没必要把所有东西都做成 Skill。 Agent 在运行时,即便没有加载 Skill 的全部内容,通常也需要先读取它的名称、简介和适用范围。这些基础信息同样会进入上下文,对模型的判断产生影响。 Skill 越多,不代表 Agent 越强。大量边界模糊的 Skill,也可能让模型不知道该调用哪一个。 二、Skill 里要放独特经验 我觉得一个 Skill 最有价值的地方,绝对不是那些网上随便就能找到的常识。 比如你在写作 Skill 里写文章要有逻辑、标题要有吸引力,这些内容模型本来就知道,写进去不会带来太大帮助。 真正有价值的是你自己的经验。 比如,修改语音底稿时,要保留口语里的活人感,每个核心判断最好有一个事实、数据或者亲身经历支撑。 这些内容代表了我们的个人品味、工作经验和业务知识。把这些经验编码进 Skill,才是 Skill 真正的价值。 三、Skill 需要控制抽象程度和边界 很多 Skill 的问题,是解决问题的范围太大。 比如一个叫写作的 Skill,边界就非常模糊。写作包括选题、资料阅读、形成观点、整理初稿、修改结构、优化语言、生成标题、检查错别字。 每一个环节需要的经验和评价标准都不一样。 把所有东西都放进同一个 Skill,最后这个 Skill 只会越来越长。 所以我觉得,Skill 最好只解决一个相对明确的问题。比如口述内容整理 Skill、标题生成 Skill、事实核查 Skill。 Skill 的边界越清楚,模型越容易判断什么时候调用,也越容易把它做好。 四、Skill 的主文件应该尽量短 Skill 通常是一个文件夹。 里面可以包含主文件、参考案例、常见问题、风格规范、检查清单,以及其他辅助材料。 所以没有必要把所有内容都写进主文件。 主文件只需要告诉模型:这个 Skill 什么时候使用、它主要解决什么问题、有哪些核心原则、默认按照什么思路推进、遇到具体问题时,可以继续读取哪些参考文件。 至于详细示例、风格要求、常见错误,可以放进单独的文件,等模型真正需要时再加载。 主文件是一张地图。模型先看地图,判断这次任务需要哪些内容,再继续读取相应的文件。 这就是渐进式加载。 不需要的内容不要提前塞给模型。这样既能减轻上下文负担,也能够减少不同规则之间的冲突。 五、Skill 最好包含检查环节 这一点和提示词非常接近。 只告诉模型怎么生成,往往还不够。一个好的 Skill,最好包含一套简单的自检标准。 比如产品体验稿 Skill,可以检查:有没有写清楚真实使用场景、有没有说明过去的方法有什么问题、有没有只有功能,没有判断。 这些自检标准,也是在告诉模型什么样才算完成。 一个 Skill 的价值,不能只体现在生成过程,还要体现在它能够帮助模型判断结果是否合格。
显示更多
GPT5.6你用上了吗? 主打长任务和工作流 GPT-5.6 分三档: Sol:旗舰模型,最强能力。 Terra:日常工作平衡款,成本更低。 Luna:最快、最便宜,适合大规模低成本调用。 主打效率 OpenAI 强调 GPT-5.6 能用更少 token 完成更多有效工作,在代码、知识工作、网络安全、科学任务上提升明显。 更适合 Agent 和复杂任务,GPT-5.6 支持更强的工具调用和长流程执行。新的 max 模式给模型更多推理时间;ultra 模式默认协调 4 个 agent 并行处理复杂任务。API 里也提供 Programmatic Tool Calling 和 multi-agent beta,用来减少往返调用和中间 token 浪费。 代码能力是重点,OpenAI 称 GPT-5.6 Sol 是目前最好的编码模型之一,在 Coding Agent Index、Terminal-Bench、DeepSWE 等评测中表现更强,尤其适合真实代码库、命令行工作流和长周期工程任务。 设计和前端生成能力提升,GPT-5.6 能把自然语言需求转成更完整、更好看的交互界面,而且会检查渲染结果、修正视觉和功能问题。对 PPT、文档、表格、模板复刻等“可交付物”也更强。 知识工作更端到端,GPT-5.6 能处理 Slack、Notion、Microsoft 365、Google Drive 等复杂上下文,产出报告、演示文稿、电子表格、研究分析等更完整的成果。 网络安全和科学能力提升,GPT-5.6 在漏洞分析、代码审查 补丁 威胁建模等防御场景提升明显。 GPT-5.6 现在开始在 ChatGPT、Codex、OpenAI API 推出。 API 价格为每 100 万 token: Sol:输入 $5,输出 $30 Terra:输入 $2.5,输出 $15 Luna:输入 $1,输出 $6 作为品牌经理,已经开始期待了🖤 我将变得更强…….. #GPT# #AI#
显示更多
0
46
58
1
转发到社区