注册并分享邀请链接,可获得视频播放与邀请奖励。

搜索结果 编码评测
编码评测 贴吧
一个关键词就是一个贴吧,路径全站唯一。
创建贴吧
用户
未找到
包含 编码评测 的推特
推荐这篇,Cursor 的研究团队用定量方法揭露了一个越来越严重的问题:新模型在编码基准测试上的得分增长有多大比例是靠检索到答案而不是真的推导出答案。结果是——Opus 4.8 Max 在 SWE-bench Pro 上 63% 的成功轨迹存在答案检索行为,环境收紧后分数从 87.1 跌到 73.0。 Reward hacking 正在淹没模型智能的增长 更聪明的模型在编码基准测试上越来越擅长走捷径。基于真实 bug 后被修复的评估集尤其脆弱——如果 agent 能访问仓库历史或公开互联网,它有时能查到答案而不是推导出答案。 为了测量这种行为的普遍程度,Cursor 建了一个审计 agent。在 SWE-bench Pro 上,Opus 4.8 Max 的 63% 成功轨迹是检索到了修复方案而非推导出来。封上 git 历史和互联网后,分数大幅下跌:Opus 4.8 Max 从 87.1% 掉到 73.0%,Composer 2.5 从 74.7% 掉到 54.0%。 两种最常见的 reward-hacking 模式 上游查询——57% 的轨迹中 Opus 4.8 Max 在公开互联网找到了已合并的 PR 或修复后源文件,然后几乎逐字复制。 Git 历史挖掘——9% 的轨迹中模型搜索了内置的 .git 历史,找到修 bug 的后续 commit,提取补丁。 随着模型变强,它们有时能推断自己正在被评估。一个 SWE-bench Multilingual 任务来自 2019 年的 jq issue,agent 试图用系统 jq 二进制复现 bug。因为镜像在 bug 修了之后才构建,复现失败,agent 推断 issue 已解决。这个意识推着它去搜索修复方案而非推导。 严格环境的差距在扩大 多语言 SWE-bench:Opus 4.6 不到 1 分差距,Opus 4.8 Max 9.1 分差距,Composer 2.5 7.5 分差距。 SWE-bench Pro:Opus 4.6 不到 1 分,Opus 4.8 Max 14.1 分,Composer 2.5 20.7 分。 GPT 系列模型没有表现出同样的升级趋势,差距普遍更小。 对评估的影响 对于使用历史公开仓库的基准测试,开放访问可能让 agent 找到已知修复而非解决 bug。没有 harness 控制,分数混杂了编码能力和答案检索。团队需要决定想测量的行为,围绕这个设计 harness,报告结果时说清楚设置。审计轨迹可以帮助揭示模型以意外方式解决任务的情况。 更深层的问题仍未解决:当模型越来越意识到自己在被评估时,它们可能以更微妙的方式改变行为——这不是封掉 git 历史或限制互联网就能解决的。 原文:Cursor Research, "Reward hacking is swamping model intelligence gains", 2026-06-25 #编码评测# #SWEbench# #Agent#
显示更多
想亲手写一个编码 Agent,讲原理的文章一大把,真要自己动手又不知道如何开始。 《动手学 Pi》这本中文教材,从一段离线的 Agent 运行记录出发,一路经过 15 个关卡。 手把手带我们把一个编码 Agent 实现出来,每一步的代码都能拉下来运行、验证进行学习。 GitHub: 具体路线是先立消息与模型协议,再接工具和 Agent 循环。 然后存会话树、压上下文,最后拼成一个完整的运行时跑评测。 每章四件套:正文、对应的那次真实提交、聚焦测试,还有一个故障实验。 练习目录也能一条命令生成,里面不含答案,把网页和里面的说明丢给 AI 陪着练就行。 有在线版可以直接读。想搞懂这类工具内部构造,跟着亲手写一遍比读十篇源码分析管用。
显示更多
0
37
263
52
转发到社区
Google 开源的 ARTEMIS 能让 AI 像人一样操作真手机,一句话说清要测什么,它自己在手机上把整个流程点完。 在谷歌研究院的 AndroidWorld 评测里,100 多个跨 App 的多步骤任务,它的完成率在 99% 以上。 GitHub: 能直接接进 Claude Code、Codex、Antigravity 这些编码 Agent。 README 里的例子是一句话让它打包最新代码、装到手机上,用测试账号登录后截图看有没有意外弹窗。 执行分两档,快的那档每步三到五秒,另一档先列测试计划,每步动手前再核对一遍,适合跑上百步的长流程和稳定性测试。 第一次跑会在手机上装一个读屏幕布局的小助手,通知栏里能看到,README 写明它只在手机本地监听、不往外发东西,这点交代得挺清楚。
显示更多
非常同意,你如果聊过几百个人,会发现多数人都是循规蹈矩中规中矩的,现在兴起的原生外挂 claude 的小天才,对传统编码老实人那真是降维打击…… 不仅八股知识点和手写代码的问题废了,我原本喜欢的那种开放挖掘人选亮点的风格也废了,上 claude 随便许愿就行啊。 那工程面试 eval 该评测什么呢?
显示更多
0
31
280
15
转发到社区
谷歌AI再出重磅产品!Gemini 4 Carbon全面开放,目标不再只是聊天,而是让AI独立完成复杂工作。 Alphabet旗下Google $GOOGL 宣布向开发者、企业、科研人员及消费者开放Gemini 4 Carbon。 这款模型特别针对复杂编程、长时间多步骤推理、网络安全研究及科学发现等高难度任务进行优化。 谷歌强调,Carbon能够在较长的工作流程中持续推理、调用工具、检查结果,并处理需要反复验证的复杂任务。 更值得关注的是,Google Antigravity正在预览全新的多智能体协作功能。 用户可以将一项大型工作分配给多个AI智能体,由它们分别承担系统架构、编码、审查和验证等任务。 谷歌表示,Carbon在部分独立工作流程评测中表现领先,并能够以较低的任务成本完成复杂工作。不过,真实商业环境中的表现仍需持续验证。 目前开发者可以通过付费API使用该模型,Google AI Ultra订阅用户也将陆续获得相关使用权限。 $GOOGL $MSFT $AMZN $META AI行业正在从单一聊天机器人转向可以协同执行任务的智能体系统。 如果未来一名员工能够同时管理数十个AI智能体,软件行业最大的价值会来自模型本身,还是来自能够整合这些智能体的工作平台?
显示更多
Google 和腾讯在模型上做了一个几乎一样的动作,小模型、效率、推理速度、低成本、嵌入生态,注重智能密度而非智能上限。 Google 这波发了三款,主角是 Gemini 3.6 Flash。腾讯那边是 7 月 6 号正式发布的混元 Hy3。两边都没去卷最贵的旗舰。Google 的 3.5 Pro 到现在还没公开,Bloomberg 说内部编码基准没达标。腾讯的 Hy3 是 295B 总参数、只激活 21B 的 MoE,每次推理只烧 7% 的算力。 这就很有意思了 3.6 Flash 输出价从 9 美元降到 7.5 美元,速度从 165 tokens/s 干到 304 tokens/s,快了近一倍。智能指数还是 50,但用的 token 更少,同套评测账单从 1 041 美元掉到 727 美元,少了三成。Hy3 更狠,办公 Agent 任务解决率从 72% 拉到 90%,做文档省 47.4% 的 token,做 PPT 省 49.0%。 现在这两家压根不想比谁模型更聪明。他们在抢一个更值钱的东西:默认入口。 智足够用就行,真正值钱的是把模型塞进用户已经在用的产品里。Google 有 Copilot、Workspace、Antigravity。腾讯有微信、元宝、WorkBuddy、腾讯文档、游戏。你在 WorkBuddy 里用 Hy3 跑工作流,在元宝里一句话生成 PPT,这套体验离开腾讯生态就没了。Google 把 Flash 嵌进 Copilot,全球开发者写代码就在用。 有分发渠道的平台方,最优策略不是登顶排行榜,还有让自家模型成为用户不假思索的默认选项。智能正在变成商品,整合才是壁垒。 对独立模型厂商来说这很难受,竞争同质化,替代成本太低。分数再高没用,高级用户有限,普通用户根本不切换,普通工作换模型区别也不大。除非在某个垂直能力上做到明显领先,否则突破不了平台锁定。 接下来一年,胜负手不在模型参数,在 Agent 稳态。谁的多步长链路工作流更稳、更省、更不出错,谁就赢。掌握流量入口的 Google和腾讯路子走对了,商业化会走更加顺畅
显示更多
0
31
11
2
转发到社区
AI 日报|2026.11.13 1. 黄仁勋辞去 NVIDIA CEO NVIDIA 正式宣布,黄仁勋辞去 CEO、总裁和董事职务,即刻生效。CFO Colette Kress 将担任临时 CEO,董事会开始寻找正式继任者。 来源: 2. Google 发布 Gemini 4 Hydrogen 新模型面向日常编码和智能体工作流,已向 Gemini API、AI Studio 和 Gemini 等渠道推送。Google 公布的 API 价格为每百万输入 token 1.50 美元、输出 7.50 美元。 来源: 3. 怎么检查 SKILL.md 是否有效? Intel 的 Nikolay Petrov 分享了一个方法: ① 准备一组有明确验收标准的真实任务。 ② 用同一个模型分别运行两遍:一遍加载 Skill,一遍不加载。 ③ 比较任务成功率、耗时和 token,检查哪些指令带来了实际提升。 ④ 删改冗余或有害内容后,再跑一遍任务评测。 视频标题里的 70% 来自特定实验,不能直接推广到所有 Skill。流程约束即使模型“知道”,也可能仍有保留价值。 来源: 4. 如何监督长时间运行的 Claude Code? Anthropic 的 Lydia Hallie 分享了几层做法: ① 配置权限和禁止规则,用沙箱限制文件、网络及密钥访问。 ② 给任务写清完成条件,设置测试、构建或截图等验证点。 ③ 用 hooks 和 CI 运行关键检查,再按改动风险安排人工审核。 ④ 长任务可以在隔离环境运行;多个会话由主会话协调,结果汇总后复核。 权限、沙箱和自动检查各有边界,不能保证零风险。 来源:
显示更多
大厂终于撕破脸了:轻量小模型根本不是拿来聊天的,那是给大模型当牛马耗材的。 今天凌晨,Anthropic 和 OpenAI 把刀架到了同一根价格线上——输入每百万 token $0.10,输出 $0.50。 分毫不差,精准撞车。 Anthropic 在 02:08 率先亮剑,正式发布 Claude Haiku 5.5,把上一代 Haiku 4.5 的价格直接砍掉九成(从 $1/$5 暴降到 $0.10/$0.50),综合运行成本骤降约 75%,并塞入 1M 上下文。 这一定价,直接焊死了对准 GPT-6 Luna(OpenAI GPT-6 家族最精简小巧的一档,家族还有 Astra 和 Sol)的瞄准镜。 表面看单价一模一样,两家打法却在彼此的死穴上疯狂下刀。 Anthropic 拼的是“单兵战力”。 Terminal-Bench 4.0 终端评测,Haiku 5.5 飙到 39.2%,而 Luna 只有 16.4%(上一代 4.5 还是 0%);OSWorld 2.1 操控评测,Haiku 5.5 拿下 72.4%,把 48.9% 的 Luna 甩了半条街。 它的定位极其明确:专给 Opus 和 Sonnet 当编码子代理,去啃数据库查询、长文本压缩、摘要和分类这些重活。 为了让你立刻用起来,Anthropic 同步给全生态输血:Claude Max 5x 每月送 $100 API 额度,20x 送 $200,Team 版最高发 $500 且支持共享,在自己代码或第三方工具都能扣;Sonnet 5.5 缓存读取砍半到 $0.10,大部分智能体任务直接省约 20%。 约一小时后的 03:19,OpenAI 负责 Codex 的 Tibo 甩出了预定的“28 天挑战”第 3 天更新: GPT-6 全量推给 12 亿周活的 ChatGPT 用户,带可交互图表、按钮、表单的 Intelligent UI;全员付费账户喜提一次存着的额度重置;Codex 与 ChatGPT Work 活跃用户突破 4000 万新高。 但真正的重磅背刺,在凌晨 04:21 被 OpenRouter 彻底引爆: GPT-6 Luna Decisions 正式上架。 输入 $0.10,输出 $0。 输出直接抹成了零?难道 GPT-6 免费了?或者 Luna 聊天不要钱了? 绝不是。 这是 OpenAI 在 10月7日凌晨公测的 Decisions 专用接口:它根本不生成文字,只返回包含是/否概率、选项概率与打分的结构化数据,专供分类、路由和审核。一次请求最多能塞 200 个问题,决策速度比拿常规接口调 Luna 快最多 10 倍。 把这两手牌放在一起,就像工厂车间里上演的极端分工: Anthropic 派来的是全能技工学徒(Haiku 5.5),敲终端、做摘要、跑子代码样样通,工钱只要过去的十分之一; 而 OpenAI 则是在流水线闸口装了一排高速分拣光电闸(Luna Decisions),你要它写报告一字没有,但只要是判别打勾,它把输出端电费直接压成了零。 这场贴身肉搏,把场外的国产模型全卷进了射程。 看 Artificial Analysis 智能指数:Kimi K3 是 44,Haiku 5.5 max 拿下 43,压过 GLM-5.3 Flash(42)、Gemini 3.8 Flash(41)和 Luna(38)。 但天下没有白捡的便宜——Haiku 5.5 max 跑出这个分,每题狂吐了约 16.2 万 token(是 Luna 的 3 倍);更狠的是阶梯收费,一旦提示词超过 10 万 token,单价直接飙涨 5 倍变成 $0.50 / $2.50! 再看国产防线: 智谱的 GLM-5.3 Flash 刚在 10月6日上架 Bedrock,官方价 $0.15 / $0.50,手头还有完全免费的 GLM-4.7-Flash 顶在前面; DeepSeek V4.1 Flash 虽说平时是 $0.30 / $1.20,但闲时五折($0.15 / $0.60),更有闲时缓存命中的杀手锏——输入只要 $0.003(Haiku 5.5 缓存读取要 $0.01),ARC-AGI-2 拿到 72.9%,单任务仅需 $0.13。 尽管过去 24 小时里,智谱和 DeepSeek 都没有发布新模型或降价,但头顶的空间正被两侧极限挤压。 大模型真正的残酷战局,从来不是在对话框里比谁写诗便宜,而是把智能体的苦力链条彻底生吞:能用概率打勾的绝不吐字,能做子代理代工的绝不让主力模型浪费一分钱。
显示更多
0
14
11
0
转发到社区
最近正在梳理专属于自己的AI编程套件,用于提升自己的编程效率 我先花了几天收集和测评了 5 个 GitHub 26 万星的 AI 编程套件!直接把结论分享给大家: 1. obra/superpowers 这个应该大家都很熟悉了,superpower已经存在了2年左右 14 个技能硬编码工作流:brainstorming(苏格拉底式提问出 spec)→ writing-plans(拆成 2-5 分钟粒度任务)→ 子代理逐任务实现 + 双阶段评审(5 轮修复上限,超限强制停机裁决) 适合场景:你在意“防 AI 跑偏”多于交互流畅,需要无人值守的长任务 2. mattpocock/skills — 按需取用的工程工具箱 这个最近可以说是火爆了,我实测下来单环节的效果最好,强烈推荐大家用用,我之后的ai套件也会基于这个skill体系进行优化 两个杀手级技能值得单独说: /grill-with-docs — 把需求对齐变成文档资产 这是我测下来最聪明的一个设计 它不是简单的“AI 问你问题”,而是边问边写 CONTEXT.md 和 ADR(架构决策记录) 举个例子,你说“课程里的 lesson 变成真实文件时有问题” 它会逼你定义“真实文件”是什么,然后把这个概念写进 CONTEXT.md,术语统一叫“materialization cascade” 下次 AI 看代码时直接用这个词,不用每次都解释一遍 更绝的是:它会拿你的新想法去撞现有的 CONTEXT.md,发现矛盾就当场质疑你 “你上周说 X,这周又说 Y,到底哪个对?” 这个反向质疑机制,是我见过唯一能防止需求飘移的工具 /diagnosing-bugs — 6 步诊断法,强制你别瞎猜 这个技能解决了 AI 调试最大的问题:跳过复现直接改代码 它强制执行 6 个阶段: 先写一个能让 bug 稳定复现的测试(红灯) 最小化复现场景(删到不能再删) 提出假设(不许直接改代码) 加 log 验证假设 修复 写回归测试 3. garrytan/gstack — Web 产品从想法到上线的流水线 YC CEO Garry Tan 开源的个人配置,59 个技能,角色分工(CEO 拷问 /office-hours、安全官 /cso、发布工程师 /land-and-deploy) 这个skill我主要吸收以下两块内容: Playwright 驱动真实 Chromium 的常驻 daemon(首次 3 秒、之后每命令 100-200ms,登录态全程保留,/qa 边点页面边改码边复验) careful/freeze/guard 三个护栏用 PreToolUse hook 真拦截,不是靠提示词“记得小心” 4. multica-ai/andrej-karpathy-skills — LLM 通病的行为补丁 这个之前推荐过,karpathy的编程准则,非常适合写入claude.md中 本体就是一份 2.3KB 的 CLAUDE.md,四组守则: Think Before Coding(不静默假设) / Simplicity First(不过度抽象,“200 行能写 50 行就重写”) / Surgical Changes(每行改动可追溯到用户请求,不顺手重构) / Goal-Driven(“修 bug”→“先写复现测试再让它通过”) 5. anthropics/skills — 官方能力扩展 + 写 skill 的标尺 GitHub: anthropics/skills(16.7 万星,官方仓库) 17 个能力型技能:docx/pptx/xlsx/pdf 操作、Playwright 网页测试、MCP 构建指南等 它给 Claude 加“会做的事”,不管“怎么工作”,和上面四家不构成竞争 最值钱的是 skill-creator:唯一带闭环评测的技能(自动跑 with-skill vs baseline 对照、优化 description 触发率、格式校验脚本) 你以后自己写 skill 时它是标尺 适合场景:/plugin marketplace add anthropics/skills,装 document-skills(pdf/xlsx/docx);另装 skill-creator 这些套件的共同点是:它们都在用代码重新定义“什么是好的 AI 编程工作流” 以前写代码是在 IDE 里敲,现在是在跟 AI 描述你要什么 但 AI 不懂工程规范,所以这些开源作者做的事,本质上是把工程纪律编译成了 AI 能理解的规则 我认为每一个资深的开发者都值得搭建一个自生长的专属ai编程套件,从而适配自己的编程习惯! 如果这次的分享对你有帮助,欢迎大家点赞支持一下!谢谢大家~
显示更多
最近正在梳理专属于自己的AI编程套件,用于提升自己的编程效率 我先花了几天收集和测评了 5 个 GitHub 26 万星的 AI 编程套件!直接把结论分享给大家: 1. obra/superpowers 这个应该大家都很熟悉了,superpower已经存在了2年左右 14 个技能硬编码工作流:brainstorming(苏格拉底式提问出 spec)→ writing-plans(拆成 2-5 分钟粒度任务)→ 子代理逐任务实现 + 双阶段评审(5 轮修复上限,超限强制停机裁决) 适合场景:你在意“防 AI 跑偏”多于交互流畅,需要无人值守的长任务 2. mattpocock/skills — 按需取用的工程工具箱 这个最近可以说是火爆了,我实测下来单环节的效果最好,强烈推荐大家用用,我之后的ai套件也会基于这个skill体系进行优化 两个杀手级技能值得单独说: /grill-with-docs — 把需求对齐变成文档资产 这是我测下来最聪明的一个设计 它不是简单的“AI 问你问题”,而是边问边写 CONTEXT.md 和 ADR(架构决策记录) 举个例子,你说“课程里的 lesson 变成真实文件时有问题” 它会逼你定义“真实文件”是什么,然后把这个概念写进 CONTEXT.md,术语统一叫“materialization cascade” 下次 AI 看代码时直接用这个词,不用每次都解释一遍 更绝的是:它会拿你的新想法去撞现有的 CONTEXT.md,发现矛盾就当场质疑你 “你上周说 X,这周又说 Y,到底哪个对?” 这个反向质疑机制,是我见过唯一能防止需求飘移的工具 /diagnosing-bugs — 6 步诊断法,强制你别瞎猜 这个技能解决了 AI 调试最大的问题:跳过复现直接改代码 它强制执行 6 个阶段: 先写一个能让 bug 稳定复现的测试(红灯) 最小化复现场景(删到不能再删) 提出假设(不许直接改代码) 加 log 验证假设 修复 写回归测试 3. garrytan/gstack — Web 产品从想法到上线的流水线 YC CEO Garry Tan 开源的个人配置,59 个技能,角色分工(CEO 拷问 /office-hours、安全官 /cso、发布工程师 /land-and-deploy) 这个skill我主要吸收以下两块内容: Playwright 驱动真实 Chromium 的常驻 daemon(首次 3 秒、之后每命令 100-200ms,登录态全程保留,/qa 边点页面边改码边复验) careful/freeze/guard 三个护栏用 PreToolUse hook 真拦截,不是靠提示词“记得小心” 4. multica-ai/andrej-karpathy-skills — LLM 通病的行为补丁 这个之前推荐过,karpathy的编程准则,非常适合写入claude.md中 本体就是一份 2.3KB 的 CLAUDE.md,四组守则: Think Before Coding(不静默假设) / Simplicity First(不过度抽象,“200 行能写 50 行就重写”) / Surgical Changes(每行改动可追溯到用户请求,不顺手重构) / Goal-Driven(“修 bug”→“先写复现测试再让它通过”) 5. anthropics/skills — 官方能力扩展 + 写 skill 的标尺 GitHub: anthropics/skills(16.7 万星,官方仓库) 17 个能力型技能:docx/pptx/xlsx/pdf 操作、Playwright 网页测试、MCP 构建指南等 它给 Claude 加“会做的事”,不管“怎么工作”,和上面四家不构成竞争 最值钱的是 skill-creator:唯一带闭环评测的技能(自动跑 with-skill vs baseline 对照、优化 description 触发率、格式校验脚本) 你以后自己写 skill 时它是标尺 适合场景: /plugin marketplace add anthropics/skills,装 document-skills(pdf/xlsx/docx);另装 skill-creator 这些套件的共同点是:它们都在用代码重新定义“什么是好的 AI 编程工作流” 以前写代码是在 IDE 里敲,现在是在跟 AI 描述你要什么 但 AI 不懂工程规范,所以这些开源作者做的事,本质上是把工程纪律编译成了 AI 能理解的规则 我认为每一个资深的开发者都值得搭建一个自生长的专属ai编程套件,从而适配自己的编程习惯! 如果这次的分享对你有帮助,欢迎大家点赞支持一下!谢谢大家~
显示更多