註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

檢索結果 Baselines
Baselines 貼吧
一個關鍵字就是一個貼吧,路徑全站唯一。
建立貼吧
用戶
未找到
包含 Baselines 的搜尋結果
吴说获悉,由 SoFi 和 Figure 联合创始人 Mike Cagney 创办的金融科技公司 Navra 完成 1900 万美元 A 轮融资,Ribbit Capital 领投,Baseline、DCM、Jump Crypto 和 Figure Technology Solutions 等参投。Navra 面向个人和机构提供链上金融入口,计划整合 DeFi 收益协议、交易市场、现金通道、无密钥自托管和 AI 功能,并支持机构权限管理、审计和基金会计系统接入。Figure 将作为其首个区块链合作伙伴,Navra 已接入 Figure 的 Democratized Prime 收益协议和 YLDS,并计划进一步整合 Figure 的交易市场。
顯示更多
现在很多 Agent 自进化,大致走两条路: 一条改模型权重,一条改 Harness。 这篇 Evo² 直接把两条路接了起来。 系统里,同一个模型同时扮演两个角色: Proposer 负责修改 Harness,Reflector 负责看执行结果、分析哪里改对了、哪里还需要修。 关键在下一步。 这些 Harness 修改和真实执行结果,会继续拿回来训练 Proposer 和 Reflector。模型变得更会改 Harness,新的 Harness 又产生更好的训练经验,形成一个持续循环。 结果是 Evo² 在 Polyglot 上达到 82.1%,最强 baseline 是 62.6%;SWE-bench Verified 达到 48.3%,相比 baseline 的 41.0% 继续提升。 而且进化出来的 Harness 可以直接迁移到其他 benchmark,不需要重新搜索。固定 GPT-5-mini 权重时,仅靠这套 Harness 进化流程,也把表现从 24.4% 提升到 48.3%。 这篇真正往前推的一步,是让「改进者」本身也进入了学习循环。 以后自进化 Agent 可能会越来越像两个互相促进的系统: 一边积累更好的外部运行结构,一边训练出更会修改这些结构的模型。 当「怎么让自己变强」也开始被持续训练,self-evolution 才真正有了第二层递归。 📎 arxiv:
顯示更多
0
9
213
36
轉發到社區
这个博客讲 Agent Harness 自进化中比较重要的一个问题: Harness 跑分提高了,到底哪里真的变好了? 作者提出 Harness-Delta Attribution,把一次提升拆成三部分:过拟合、更多 test-time compute,以及最后真正能泛化的改进。 结果是在 ALFWorld 和 LiveMath 上,大量提升其实来自 Harness 学会了数据集里的规律和 shortcut;CREATE 上,不少收益单纯增加模型调用次数就能拿回来。 到了 held-out test,16 组实验里甚至有 4 组进化后的 Harness 比原来的 baseline 更差。 SWE-bench 上能看到比较明显的可泛化提升,但主要集中在能力较弱、还有提升空间的模型。 我觉得这对 Agent 自进化研究有一个提醒。 以后看到「Harness 自动进化后 +20%」,需要多问一步:这 20% 里有多少学到了可复用的方法,有多少只是记住 Benchmark,或者花了更多 Token 和调用次数。 文章:
顯示更多
0
22
101
18
轉發到社區
Claude Code 和 Codex 都有 /goal 命令,很多人默认这俩差不多。刚读了 Charles Azam 的一个实验才发现,同一个命令下,是完全不同的两套系统,实验结果也挺好玩。 实验用的是一道光纤网络设计题,是他 2018 年当学生时做过的。他当年花了一周写 C++ 解它,可以作为一个人肉 baseline。这次他让 Fable 5 和 GPT-5.6 Sol 各跑三组 plain vs /goal 配对,每次 30 分钟,分数越低越好。 不过这个 benchmark 我倒是兴趣不大,我最感兴趣的是两套 /goal 的实现。 Claude Code:独立评审员模式 /goal 实现为 session 级的 Stop hook。主模型每跑完一轮,一个小评估模型(默认 Haiku)读取目标条件和对话记录,回答 yes/no 答 no 就再开一轮,答 yes 就清除目标 关键限制:评估模型不能用工具、不能看文件,只能根据对话记录里出现的证据来判断。它能抓住“提前退出”,但没法知道“再跑一千万次求解器迭代值不值” 优点是裁判独立(不是自己给自己打分),缺点是裁判是瞎的(只看 transcript) Codex:持久化状态 + 自我声明模式 goal 是持久化的线程状态:TUI 保存目标,SQLite 记录状态和预算 工作模型自己拿到 create_goal / get_goal / update_goal 三个工具。线程空闲但目标还在时,Codex 注入一个“继续干 + 完成度审计”的续跑轮次 关键区别:由工作模型自己声明完成。它看得到文件、也能用工具,但等于自己批改自己的作业 (这里对应的是作者查看的 Codex CLI 0.144.4;Claude Code 没有开源,相关实现来自 Anthropic 官方文档。)
顯示更多
0
26
49
2
轉發到社區
如果 Research Agent 只能把 leaderboard 分数刷高,那它离真正做研究还差很远。 真正有价值的 ML 方法,需要换设置、换规模后依然成立,也要经得起复现和泛化检验。 这篇论文提出的 MLS-Bench,就是为了评估这个能力。 它覆盖 12 个核心 ML 领域、140 个任务。每个任务都放在受控 scaffold 里,让 Agent 改进一个具体 ML 系统,并在多个泛化设置下评测,最后和同一环境里复现的人类 SOTA 方法直接比较。 这样做的重点是防止 Agent 走捷径:比如改 evaluator、改数据管线、扩大模型容量,或者只在可见验证集上刷分。 结果很现实: 即使强 baseline 已经给到模型,当前 frontier agents 依然没有超过最强 human SOTA。Human SOTA 平均分是 42.6,最好的 Agent 是 Claude Opus 4.6,分数为 36.0;Gemini 3.1 Pro 是 34.9。 更多迭代和更大 test-time search 可以缩小差距,但很难真正弥合差距。模型目前更擅长调参、工程优化和重组已有组件;一旦要求它提出能稳定泛化的新机制,短板就会明显出现。 我觉得这篇论文把 Auto-Research 的门槛讲清楚了。 低成本 verifier 下的大规模搜索,可以帮模型找到更高分的候选方案,但真正的科研还需要科学判断力:知道该验证什么、怎么分配有限算力,以及如何把局部结果变成可信证据。 未来 Research Agent 的核心能力,可能会从「生成 idea」走向「构建证据」。 能写出一个 proposal 只是开始。能在昂贵、不完整、需要复现的验证条件下,把一个方法真正证明出来,才更接近机器学习研究。 📎 arxiv:
顯示更多
周末复盘: #Robinhood# ethereum:0x07f5b6823751c2e2cd4560f28af75ff887102241 和 $AI 双双新高,分别到 256M 和 133M,龙头的持续走强说明资金还在 RH 链上。 铜狗 solana:61Wj56QgGyyB966T7YsMzEAKRLcMvJpDbPzjkrCZc4Bi 被 Him 喊上 20M,Dev 直接转了 40% 供应量给 Him。Him 公开表态愿意把它做成带质押、申领、销毁功能的代币,有力气。 金鸭 $GG,黄金底池,@gajria和 Bonkguy 同时喊,高点 12M。 机器鸭 solana:CTuw8xEE15hKi2yB9n8CoLDq8ZhBLVbh8ydcuN11pump 是英伟达预收购公司推出的机器人鸭子,Bonkguy 上车,高点 27M。在 PONS 台子上被对标 LONG 台的 AI,两个龙头台的资产在相互对表。 #BSC:# #牛来# 上合约后继续走,新高 126M。 #孙小圣,第一部登陆电视台黄金档的国产# AI 剧主角,高点 4M。 #豹拉,牛来电影角色,高点# 3.8M。 中文区流量叙事在 BSC 上的转化效率还是最高的,抖音梗、影视梗直接变现。 #Solana# solana:BRZ5aeJCDuruA42V1CntqKvofa2G7DS3yyxx1pZEpump ,Pumpfun 官方推文里唯一未代币化的角色。Alon 在推文发出 10 分钟后买入,现在才炒起来,高点 2M。Solana 这轮没太多新东西,但这个项目算是“翻老梗”的典型。 $GOLD 是假的 Trump Digital Gold,账号被川普关注过(后来爆出是黑客盗号),推文一删直接崩,从 65M 归零。 $Base: Baseline,韩国博主把 Vaseline 读成 Baseline 走红,凡士林官方临时把品牌名改了,Cobie 也参与了互动。一个发音梗推到了 5.3M,Base 这轮没什么大叙事. pepe全链bot fomo 跟单上了,后面可以放开所有FOMO的地址查询和跟单,👏 欢迎使用和反馈~
顯示更多
最近正在梳理专属于自己的AI编程套件,用于提升自己的编程效率 我先花了几天收集和测评了 5 个 GitHub 26 万星的 AI 编程套件!直接把结论分享给大家: 1. obra/superpowers 这个应该大家都很熟悉了,superpower已经存在了2年左右 14 个技能硬编码工作流:brainstorming(苏格拉底式提问出 spec)→ writing-plans(拆成 2-5 分钟粒度任务)→ 子代理逐任务实现 + 双阶段评审(5 轮修复上限,超限强制停机裁决) 适合场景:你在意“防 AI 跑偏”多于交互流畅,需要无人值守的长任务 2. mattpocock/skills — 按需取用的工程工具箱 这个最近可以说是火爆了,我实测下来单环节的效果最好,强烈推荐大家用用,我之后的ai套件也会基于这个skill体系进行优化 两个杀手级技能值得单独说: /grill-with-docs — 把需求对齐变成文档资产 这是我测下来最聪明的一个设计 它不是简单的“AI 问你问题”,而是边问边写 CONTEXT.md 和 ADR(架构决策记录) 举个例子,你说“课程里的 lesson 变成真实文件时有问题” 它会逼你定义“真实文件”是什么,然后把这个概念写进 CONTEXT.md,术语统一叫“materialization cascade” 下次 AI 看代码时直接用这个词,不用每次都解释一遍 更绝的是:它会拿你的新想法去撞现有的 CONTEXT.md,发现矛盾就当场质疑你 “你上周说 X,这周又说 Y,到底哪个对?” 这个反向质疑机制,是我见过唯一能防止需求飘移的工具 /diagnosing-bugs — 6 步诊断法,强制你别瞎猜 这个技能解决了 AI 调试最大的问题:跳过复现直接改代码 它强制执行 6 个阶段: 先写一个能让 bug 稳定复现的测试(红灯) 最小化复现场景(删到不能再删) 提出假设(不许直接改代码) 加 log 验证假设 修复 写回归测试 3. garrytan/gstack — Web 产品从想法到上线的流水线 YC CEO Garry Tan 开源的个人配置,59 个技能,角色分工(CEO 拷问 /office-hours、安全官 /cso、发布工程师 /land-and-deploy) 这个skill我主要吸收以下两块内容: Playwright 驱动真实 Chromium 的常驻 daemon(首次 3 秒、之后每命令 100-200ms,登录态全程保留,/qa 边点页面边改码边复验) careful/freeze/guard 三个护栏用 PreToolUse hook 真拦截,不是靠提示词“记得小心” 4. multica-ai/andrej-karpathy-skills — LLM 通病的行为补丁 这个之前推荐过,karpathy的编程准则,非常适合写入claude.md中 本体就是一份 2.3KB 的 CLAUDE.md,四组守则: Think Before Coding(不静默假设) / Simplicity First(不过度抽象,“200 行能写 50 行就重写”) / Surgical Changes(每行改动可追溯到用户请求,不顺手重构) / Goal-Driven(“修 bug”→“先写复现测试再让它通过”) 5. anthropics/skills — 官方能力扩展 + 写 skill 的标尺 GitHub: anthropics/skills(16.7 万星,官方仓库) 17 个能力型技能:docx/pptx/xlsx/pdf 操作、Playwright 网页测试、MCP 构建指南等 它给 Claude 加“会做的事”,不管“怎么工作”,和上面四家不构成竞争 最值钱的是 skill-creator:唯一带闭环评测的技能(自动跑 with-skill vs baseline 对照、优化 description 触发率、格式校验脚本) 你以后自己写 skill 时它是标尺 适合场景:/plugin marketplace add anthropics/skills,装 document-skills(pdf/xlsx/docx);另装 skill-creator 这些套件的共同点是:它们都在用代码重新定义“什么是好的 AI 编程工作流” 以前写代码是在 IDE 里敲,现在是在跟 AI 描述你要什么 但 AI 不懂工程规范,所以这些开源作者做的事,本质上是把工程纪律编译成了 AI 能理解的规则 我认为每一个资深的开发者都值得搭建一个自生长的专属ai编程套件,从而适配自己的编程习惯! 如果这次的分享对你有帮助,欢迎大家点赞支持一下!谢谢大家~
顯示更多
最近正在梳理专属于自己的AI编程套件,用于提升自己的编程效率 我先花了几天收集和测评了 5 个 GitHub 26 万星的 AI 编程套件!直接把结论分享给大家: 1. obra/superpowers 这个应该大家都很熟悉了,superpower已经存在了2年左右 14 个技能硬编码工作流:brainstorming(苏格拉底式提问出 spec)→ writing-plans(拆成 2-5 分钟粒度任务)→ 子代理逐任务实现 + 双阶段评审(5 轮修复上限,超限强制停机裁决) 适合场景:你在意“防 AI 跑偏”多于交互流畅,需要无人值守的长任务 2. mattpocock/skills — 按需取用的工程工具箱 这个最近可以说是火爆了,我实测下来单环节的效果最好,强烈推荐大家用用,我之后的ai套件也会基于这个skill体系进行优化 两个杀手级技能值得单独说: /grill-with-docs — 把需求对齐变成文档资产 这是我测下来最聪明的一个设计 它不是简单的“AI 问你问题”,而是边问边写 CONTEXT.md 和 ADR(架构决策记录) 举个例子,你说“课程里的 lesson 变成真实文件时有问题” 它会逼你定义“真实文件”是什么,然后把这个概念写进 CONTEXT.md,术语统一叫“materialization cascade” 下次 AI 看代码时直接用这个词,不用每次都解释一遍 更绝的是:它会拿你的新想法去撞现有的 CONTEXT.md,发现矛盾就当场质疑你 “你上周说 X,这周又说 Y,到底哪个对?” 这个反向质疑机制,是我见过唯一能防止需求飘移的工具 /diagnosing-bugs — 6 步诊断法,强制你别瞎猜 这个技能解决了 AI 调试最大的问题:跳过复现直接改代码 它强制执行 6 个阶段: 先写一个能让 bug 稳定复现的测试(红灯) 最小化复现场景(删到不能再删) 提出假设(不许直接改代码) 加 log 验证假设 修复 写回归测试 3. garrytan/gstack — Web 产品从想法到上线的流水线 YC CEO Garry Tan 开源的个人配置,59 个技能,角色分工(CEO 拷问 /office-hours、安全官 /cso、发布工程师 /land-and-deploy) 这个skill我主要吸收以下两块内容: Playwright 驱动真实 Chromium 的常驻 daemon(首次 3 秒、之后每命令 100-200ms,登录态全程保留,/qa 边点页面边改码边复验) careful/freeze/guard 三个护栏用 PreToolUse hook 真拦截,不是靠提示词“记得小心” 4. multica-ai/andrej-karpathy-skills — LLM 通病的行为补丁 这个之前推荐过,karpathy的编程准则,非常适合写入claude.md中 本体就是一份 2.3KB 的 CLAUDE.md,四组守则: Think Before Coding(不静默假设) / Simplicity First(不过度抽象,“200 行能写 50 行就重写”) / Surgical Changes(每行改动可追溯到用户请求,不顺手重构) / Goal-Driven(“修 bug”→“先写复现测试再让它通过”) 5. anthropics/skills — 官方能力扩展 + 写 skill 的标尺 GitHub: anthropics/skills(16.7 万星,官方仓库) 17 个能力型技能:docx/pptx/xlsx/pdf 操作、Playwright 网页测试、MCP 构建指南等 它给 Claude 加“会做的事”,不管“怎么工作”,和上面四家不构成竞争 最值钱的是 skill-creator:唯一带闭环评测的技能(自动跑 with-skill vs baseline 对照、优化 description 触发率、格式校验脚本) 你以后自己写 skill 时它是标尺 适合场景: /plugin marketplace add anthropics/skills,装 document-skills(pdf/xlsx/docx);另装 skill-creator 这些套件的共同点是:它们都在用代码重新定义“什么是好的 AI 编程工作流” 以前写代码是在 IDE 里敲,现在是在跟 AI 描述你要什么 但 AI 不懂工程规范,所以这些开源作者做的事,本质上是把工程纪律编译成了 AI 能理解的规则 我认为每一个资深的开发者都值得搭建一个自生长的专属ai编程套件,从而适配自己的编程习惯! 如果这次的分享对你有帮助,欢迎大家点赞支持一下!谢谢大家~
顯示更多
推荐这个工具,autoresearch——一个 Claude Code skill。 把 Karpathy 的 630 行 Python 自主实验脚本泛化成了 14 个命令的通用 agent 循环:你给一个目标和指标,它自主迭代到完成为止。 核心循环 LOOP (N 轮或直到完成): 1. 审视当前状态 + git 历史 + 结果日志 2. 选择下一个改动(基于之前什么有效、什么失败、什么还没试) 3. 做一次聚焦的改动 4. Git commit(验证之前先提交) 5. 运行机械验证(测试、benchmark、分数) 6. 如果改进 → 保留。如果变差 → git revert。如果崩溃 → 修复或跳过。 7. 记录结果 8. 重复 每次改进叠加。每次失败自动回滚。进度记录为 TSV 格式。 v2.2.0 新增:自主编排器 不再需要手动设置 Goal / Metric / Verify。直接输入一个自然语言目标,编排器自动分类目标、推导 Success 谓词、与你确认一次,然后在 14 个子命令之间自主编排,直到完成。 14 个命令 | 命令 | 用途 | |------|------| | /autoresearch | 核心迭代循环,或自主编排模式 | | /autoresearch:plan | 把目标转化为验证过的配置 | | /autoresearch:debug | 假设驱动的自主 bug 猎手 | | /autoresearch:fix | 逐个击破错误直到归零 | | /autoresearch:security | STRIDE + OWASP 安全审计 | | /autoresearch:ship | 8 阶段通用发布工作流 | | /autoresearch:scenario | 12 个维度的边缘案例探索 | | /autoresearch:predict | 5 个专家角色辩论预测 | | /autoresearch:learn | 自主文档生成引擎 | | /autoresearch:reason | 对抗性辩论精炼(盲审团裁定) | | /autoresearch:probe | 8 个角色对抗性需求审问 | | /autoresearch:improve | 产品改进研究 + PRD 生成 | | /autoresearch:evals | 结果分析:趋势、平台期、收敛信号 | | /autoresearch:regression | 稳定性门禁:baseline vs candidate → STABLE/UNSTABLE | 另有 Guard 机制:在优化某个指标时设置"这个命令必须始终通过"的安全网。 安装 npx skills add uditgoenka/autoresearch 然后重启 Claude Code,14 个命令全部可用。通过 /plugin update autoresearch 升级。 v2.1 架构重写 原来的 SKILL.md 是一个 813 行的单体文件,每次调用消耗约 100K token。v2.1 把它拆成了一个 41 行的路由文件 + 12 个自包含命令文件(每个 94-120 行,每次调用约 5-8K token)。相同功能面,token 减少 95%。 9 个安全 hook 默认全部启用,可单独关闭。覆盖:阻止 node_modules 等目录进入上下文、阻止读取 .env/SSH 密钥、阻止 force-push/rm -rf、压缩后重新注入上下文、子 agent 状态感知等。 GitHub: 参考: #ClaudeCode# #Skill# #AgentLoop#
顯示更多