註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

meng shao
@shao__meng
追踪 AI 前沿,精选解读一手技术资料 分享 Agent 构建与 AI Coding 实践 拆解架构、选型与企业落地案例 前 CTO|AI 顾问 · 企业培训 公众号/小红书:AI 启蒙小伙伴 合作私信 |
1.1K 正在關注    37.2K 粉絲
各位 Vibe Coder 们,咱们天天看自己的 token 额度还剩多少,天天担心 Claude Code、Codex 的 IP 健不健康、会不会被封号,把这些 Coding Agent 伺候得妥妥帖帖。可有多久,咱们没真正关心过自己的健康了? 你上次体检是几年前?我是 3 年前,前公司的入职体检 🤦🏻‍♀️ 更扎心的是:就算现在去补一次,新报告和 3 年前那份也很难放在一起看。换了医院,指标名就变了;在国外做的化验,单位都不一样。一份写 Total Cholesterol 193 mg/dL,一份写 总胆固醇 5.0 mmol/L,数字看着差了几十倍,其实几乎是同一个值。 我们给 agent 喂代码,都知道上下文没对齐就会出错。那健康数据呢?很少有人管。把两份报告一起丢给大模型,它能讲得头头是道,却未必知道这两个数说的是同一件事。数据层不先统一,模型再强也画不出一条对的趋势。 所以今天我拿 Theta Health 开源的 Mirobody(Apache-2.0)认真试了一遍,我只关注一个点:它能不能把同一项认成同一项。全程用的都是虚拟数据。 1. 在本地换算 193 mg/dL,结果是 4.99 mmol/L。「总胆固醇」和「total cholesterol」对到了同一个国际化验编码(LOINC 2093-3)。这一步没调模型,也没用 API Key。 2. 中文 demo 里,一开始只有一份报告。我问「我的胆固醇有什么变化?」,它老实说只有一个时间点:4.60 mmol/L。我又导入了一份 PDF 体检报告和一份 CSV 化验单,同样的问题,这次画出了一条趋势:4.60、4.45、4.38。两份报告的英文写法一份是「Total Cholesterol-TC」,一份是「Cholesterol, Total」,它都认成了同一项。每个读数都能点开原文件看。 3. 最让我放心的是:我输入「血脂 5.0 mmol/L」,它并没有硬猜,只是不给编码,因为「血脂」是一类检查,不是一项读数。写过代码的都懂,知道什么时候不该答,比什么都答更难得。 我还用 1.6.0 版本复跑了它仓库里公开的名称识别用例,347 项全部通过。这只说明公开用例在这个版本上的表现,不代表临床准确率。 没跑完的也照实说:16 GB 电脑上的全本地部署我还没试,这台机器上没装 Docker,磁盘空间也不够。下一篇补上实测。 给自己的 agent 做了那么多配置,也花一个周末给自己的健康数据搭个底子吧: 1. 先看中文 demo,里面是两位虚拟成员的数据: 2. 给 Claude Code 接上(官方提供的命令,不用部署,也不要 Key): claude mcp add mirobody -- uvx --python 3.12 mirobody mcp 提醒一句:接 Claude Code 这类云端工具时,记录会发给对应的模型公司。 截至 11 月 9 日,它是 GitHub digital-health 话题下星标第 1 的项目。觉得有用,欢迎点个星,或者提 issue、PR: (然后,真的该去体检了啊。。。)
顯示更多
代码合入前抓住缺陷:Meta 用 JiTTests 生成会失败的测试,并让工程师在流程里把关 不靠更快地审代码,而是生成会失败的测试 多数 AI 查错像加速版人工评审。JiTTests 针对尚未合入的代码变更,自动生成可执行测试,故意让它在新版本上失败、在父版本上通过,把行为差异摊开。系统夜间用空闲算力跑,并按类似 Diff Risk Score 的机制,优先处理前一天的高风险变更。 两条工作流并行。一条把每次改动都当成变异,生成能区分新旧行为的测试,不推断作者意图;另一条则根据代码、标题和摘要推断意图与风险,再构造变异、生成测试,并在真实变更上运行。先得到「弱捕获」,也就是测试失败了;再从中筛出真正指向缺陷的「强捕获」。论文称,在大约 22,126 个生成测试上,这种感知变更的方法,弱捕获大约是传统测试加固的 4 倍、偶然失败测试的 20 倍。 Meta 自报的过滤与效果 失败测试里误报很多。系统用规则工具 RubFake,再加上多个大模型组成的评判团来排序。论文写,在 600 个出现弱捕获的变更上,评判团大约把人工审阅负担降了 70%。流程需要工程师把关:人来定标准、看汇总,通常只需确认行为变化是否符合预期。 论文记录的是初期触达:向工程师报告 41 个候选,8 个被确认为真阳性,大约 19.5%,其中 4 个若未拦截可能导致严重故障。博客给出更晚的生产口径:589 名工程师参与过(占被触达者的 64%),他们报告真阳性率约 60%;2026 年上半年,系统在变更合入前帮助捕获 74 起严重隐私事故,并使同期这类事故的总体发生率下降约 20%。60% 来自已参与者的反馈,20% 是公司自己的对比口径,文中没有给出可独立核对的对照实验。
顯示更多
🧠 Most AI bug-catching tools review your code the way a human reviewer would, only faster. What if the AI wrote a test that proved the bug instead? That’s Catching Just-in-Time Tests (JiTTests) — a novel approach where LLMs generate executable tests designed to fail, surfacing behavioral changes in a code change before it lands. After a year of research, it’s now part of Meta’s infrastructure. ✅ 589 engineers have engaged with it, reporting a 60% true-positive rate 📈 In the first half of 2026, it helped catch 74 privacy SEVs at the diff stage, lowering overall privacy SEV occurrence by 20% 🔗 Read how it works: 📄 Read our FSE 2026 paper, “Just-in-Time Catching Test Generation at Meta”: #AI# #SoftwareEngineering# #SoftwareTesting# #DeveloperTools# #Engineering#
顯示更多
0
17
14
0
轉發到社區
我们应该用哪个 Claude 模型来做开发?Anthropic 建议多数工作先从 Opus 5.5 起步! 先定默认,再按任务上下调 Anthropic 的直接建议是:多数工作先用 Opus 5.5,思考力度用默认的 medium。它也是 Claude Code 的默认模型。按 API 标价,每百万输入和输出 token 为 4 美元和 20 美元,大约是 Fable 5.2(8 美元和 40 美元)的一半,并被推荐为多数编程与知识工作的起点。 往下调:规格清楚的日常改动、按需求做功能,可以试 Sonnet 5.5(2 美元和 10 美元),大约是 Opus 单价的一半。但规格清楚不等于一定用 Sonnet,迁移、性能优化仍可能需要 Opus。分类、路由、抽取等高流量简单活,以及给主模型打下手的子智能体,用 Haiku 5.5(短提示 0.10 美元和 0.50 美元;超过 10 万 token 则按五倍计费,仍大约是 Sonnet 单价的四分之一)。 往上调:最难的编程、金融、科研,或 Opus 开到 high 仍不够、需要长时间无人值守时,再用 Fable 5.2。换模型前,先调思考力度:更高档会多想、多调用工具、多自检,也更慢,但补不上模型本身没有的能力。超过 high 之后,再升一档的花费可能接近换更大模型,这时更宜拿更高一档模型、用更低思考力度来对比。 不要只看单价,并在自己的任务上复测 Anthropic 强调:token 更贵,不等于单次任务更贵。其自报里,FrontierCode 2.0 上 Fable 5.2 开到 high 约得 45.3%,与 Opus 开到 max 的 45.5% 大致持平,单任务成本大约一半。SWE-bench Pro 上,Opus 先用 low、失败再用 high 重跑,大约 97% 通过、每题约 0.17 美元,对比全部用 high 的 95.3%、每题约 0.29 美元。一项 20 题搜索评测里,两道难题就占了大约 43% 的花费。 组合时,建议把容易核对的检索和读日志交给更小模型,判断和改代码留在主模型。公开数字只是起点,要用自己的任务、结果校验和真实花费再选。 博客原文
顯示更多
Which Claude model should you build with? Our new guide breaks down when to use Fable 5.2, Opus 5.5, Sonnet or Haiku. It also covers when to adjust effort instead of switching models, and how to save cost by putting subagents on smaller models.
顯示更多
Airbnb 生产评测:微调小分类器对标前沿质量,高流量下成本约 1% @AirbnbEng 工程博客写了一项自家生产分类任务的对照:用内部框架 GLOWC 把开源小模型微调成分类器,再和开源基座、前沿 API 比质量、时延和费用。 测的是什么、怎么比 场景不是开放问答,而是实时拦截:筛查内容是否违反「定价与支付透明度」政策。误报会拦下本可发布的内容,因此要高精度;线上每分钟调用达数千次,必须在 200 毫秒内给出可设阈值的分数。 对照模型是微调后的 Gemma4-E2B。评测用 1 万条按生产流量加权的留出样本。开源模型部署在单张 RTX Pro 6000 上,默认和对照共用大约 400 词的简明提示。质量看最高 F1:能打分的模型扫阈值取最佳结果,只输出是或否的模型则直接报判定的 F1。 质量、时延和「1%」比的是什么 未微调的开源模型虽然够快,质量明显偏低。GPT-6.1 Sol、Claude Sonnet 5.5 即使少思考,中位时延大约 900 毫秒,p99 可达数秒,远超预算。简明提示下,Sol 精确率大约 0.82、召回率大约 0.96,偏召回,而这项任务更怕误杀。 微调把 Gemma4-E2B 的 F1 从 0.563 提到 0.902,与最好的专有模型相当,中位时延大约 35 毫秒,p99 大约 85 毫秒。提示加长到大约 2700 词后,专有生成模型大约还能再涨 1 到 3 个点,但时延和费用更高;能赶上时延预算的模型,靠加长提示也补不上质量缺口。 「~1%」指每分钟数千次的高流量下,按 2026 年 10 月公开标价估算,简明提示的前沿 API 费用大约是单卡自建的两个数量级。计算还假设了 71% 的缓存命中率,高于实测,也不含议价折扣。更便宜的专有方案仍大约是单卡的近 5 倍,准确率还不如微调器。流量大约低于每分钟 15 到 30 次时,Sonnet 5.5 和 Sol 才可能比专属 GPU 更便宜。
顯示更多
What if you could get frontier-level AI classification at 1% of the cost? Airbnb engineers fine-tuned a small language model to deliver comparable accuracy in under 100ms. Here’s how. 👇
顯示更多
0
18
10
0
轉發到社區
Anthropic 发布 Claude Fable 5.2 和 Claude Mythos 5.2,面向最难啃的技术工作,并在编程、推理和视觉上有提升。btw... 终于还是没等到 GPT 6.2 ... Claude Fable 5.2 和 Claude Mythos 5.2 是同一套底层模型。Fable 带有更强的网络安全和生物安全护栏,已在付费方案和主流云平台上线;Mythos 需通过生命科学或网络安全验证项目申请,面向有益的生物医学或网络安全研究。日常多数编程和知识工作,官方仍建议先用 Opus 5.5,复杂、开放的长程任务再换到这一档。 对齐上,多数指标不低于近期模型,并由英国 AI 安全研究所、Frontier Design、METR 等做了发布前外部评测。能力上,几乎所有评测维度都高于 Opus 5.5。在 FrontierCode 2.0 上,Fable 5.2 开到 High 档约得 45.3%,与 Opus 5.5 的最高分 45.5% 大致持平,单任务成本约一半;开到 Xhigh 档得 49.1%,是已测已发布模型里最高的。应用默认是 Medium 档。 演示性结果:约 1000 个 Fable 5.2 智能体用 30 小时完成费马大定理形式化;同样设置下,Opus 5.5 约 18 小时完成 26%,30 小时后几乎不再推进。Mythos 在尝试的 34 个基因疗法衣壳中,准确建模了 28 个。仿真双臂基准 RoboDojo 上,内部最高档跑分为 64.9%,高于 Opus 5.5 的 39.4% 和 Fable 5.1 的 27.6%。
顯示更多
Introducing Claude Fable 5.2 and Claude Mythos 5.2, designed to tackle the most daunting technical challenges. They’re capable collaborators on ambitious projects in many fields, and show improvements in areas like coding, reasoning, and vision.
顯示更多
PMs are back:Gemini 产品负责人谈 AI 时代,为什么产品判断更值钱 Lenny’s Podcast 对谈 @tulseedoshi :AI 降低了实现成本,却没有降低选错方向的代价。当“能不能做出来”不再最难,做什么、什么才算好、哪些能力值得押注,就更重要。 # 不只设定指标,也要发现模型的新能力 Tulsee 负责 Google 前沿模型的产品工作。她指出,模型开发不像传统软件那样,按规格实现就能得到确定结果。训练需要目标与评测,但也会出现预期之外的能力。 产品负责人既要检查指标,也要亲自使用模型,发现它在哪些任务中表现突出,再判断这些能力能否形成有价值的体验。只看排行榜,可能错过真正值得产品化的变化。 # 判断力要靠使用和评测建立 她招聘时重视持续使用模型、有自己的质量标准、能动手做评测,并愿意随能力变化调整路线的人。 评测不必一开始就很大:先选 5—20 条真正关心的提示词,亲自判断结果,明确“好”的标准,再逐步扩展。这样得到的判断,比笼统地说某个模型更强更有用。 模型升级后,系统提示、工具和技能也要重新测试。以前为弥补短板加上的规则,可能已经多余,甚至开始限制新能力。 # 60/20/20:兼顾今天交付和未来能力 她提出一种可调整的投入方式:约 60% 做当前能稳定实现的能力,20% 押注近期可能补齐的能力,另 20% 探索已经出现苗头、但尚未成熟的体验。 重点不是严格照搬比例,是避免两个极端:只围绕今天的局限设计产品,或者把全部价值押在未来模型一定会进步上。
顯示更多
Why PMs are suddenly valuable again with Tulsee Doshi (@tulseedoshi)—Head of Product for @Google’s frontier AI models, including @Gemini, Nano Banana, Genie, Veo, and more. We discuss: 🔸 The rising value of great PMs 🔸 Google’s full-stack frontier AI strategy 🔸 Why model development is like Snape’s potions class 🔸 Why the PM role has shifted from writing requirements to creating something with “heft 🔸 How to write your first eval Listen now 👇
顯示更多
0
31
15
2
轉發到社區
我猜马斯克想说的是: 在中文里 𝕏 是「牛逼」的意思。 确实,我们平时会说「牛𝕏」,𝕏 默认那个被和谐消音的字。。叉 以前公司品牌叫 xTool,也很少有同事会正经读那个 x,基本都叫做 叉 tool 😅
顯示更多
Garry Tan 开源「g-harness-evals」:同一个前沿模型做同一批任务,只换掉 agent harness,也就是系统提示、工具和记忆这些外围设计,谁更准,谁更省钱? 测什么,怎么判分 任务不是编程题这种评测,是一家虚构公司 Pemberline 的多人办公场景。测试搭了一个模拟的 Slack,让 agent 担任团队机器人,处理权限、审批,以及别人在后续对话里提出的纠正。主榜用的是 v0.3 版本的 20 道公开开发集任务。 模型固定为 Opus 5.5 或 GPT-6.1 Sol,只换 harness。Opus 这边比较 Claude Code、Hermes、OpenClaw 和 QM,Sol 这边比较 Codex、Hermes 和 OpenClaw。Claude Code 和 Codex 各自绑定自家模型,所以两者之间不做同模型对比。 判分不看 agent 自己怎么说,而是检查任务结束后的系统状态和事件日志,确认答案是否正确、有没有泄密、有没有越权读取。费用按计量代理记录的标价计算,用总花费除以通过的题数,得出解出一题平均花多少钱,另外报告耗时中位数。 评测结果关键数字 准确率方面,Garry 认为各个 harness 的通过率区分不开,大约都在 71% 到 79% 之间,Hermes 配 Opus 的点估计是 78.8%。20 道题里有 14 道在所有组合下得分完全相同,8 到 14 个百分点以内的差距基本无法确认。Garry 也承认这套题已经接近饱和。 真正拉开差距的是成本和速度,这部分只是描述性数据,没有做统计检验。在 Opus 上,OpenClaw 解出一题约 0.44 美元,耗时中位数约 99 秒。其余几个 harness 约 0.19 到 0.24 美元,Claude Code 和 QM 大约 40 秒。在 Sol 上,Codex 约 0.17 美元、30 秒左右,又便宜又快。作者把 OpenClaw 偏贵归因于提示更长、缓存写入更多。 失败案例里,跨频道纠正这类任务所有 harness 都容易出错。Garry 也提醒,这是开发集而不是留出集的确认结果,OpenClaw 有部分组合没跑完,QM 的网络条件也没和其他组对齐。
顯示更多
0
24
19
4
轉發到社區
第二个面试感受 这次不太一样,和过去参加过的面试都不太一样,倒是和付费咨询很像,对,非常像! 面试开始,甚至我都没做自我介绍,三位面试官就开始直接问问题了。 问的问题场景实在太具体,我就不直接说了,可能容易中目标。模糊一点讲,就是如果我们要私有化部署 MiniMax H3,成本多少,你自己实际工程中用的话,生成效率怎么样?部署后需要有专职的运维吗?如果要支撑 100+ 用户并发,需要什么样的 GPU 配置,最低多少?你们跟云服务能谈到的最低折扣多少? 还有另一个问题,跟 RL 相关,如果我们想基于 MiniMax H3 做特定场景要求的 RL,需要的数据量是多少?要具体。实现这个场景要求对数据的内容要求是什么,能一次获取完整吗?RL 周期多长、保证效果吗?如果达不到,还有其他办法吗?成本如何? 实现上面这些功能,如果想在 1 个月内上线,2 个人够吗?算上你。因为我们现在有一个实习生了。 嗯,大概这些,感觉我并不是在面试,像是接了个项目,跟甲方做前期沟通呢。所以我要不要真的按项目跟甲方沟通,顺便把报价和工期也谈一谈 😄
顯示更多
这段时间集中面试,公司的阶段、人数、行业、组织和问题千差万别,也想借这次机会更多接触不同的企业来补充自己对于不行业和团队的理解。 我也想把面试中遇到的一些典型问题记录下来,当然会脱敏,意图不是曝光或八卦,主要还是在具象问题中抽象出更合理的解决办法,希望对各位在职场中的朋友有所启发,也希望对在看机会的朋友面试有一些心里准备,哪些是痛点、哪些是雷点,能分清。 我都记录在这篇内容下吧,先来第一个: 一家硬件和 SaaS 软件公司,HR 前置沟通一再强调,团队目前遇到了很深的技术难题,希望有 tl 来带队攻坚! 但我初步了解了产品形态后,感觉不太对,他们遇到的肯定不是单纯的技术难题,是业务不断发展累加、不断复杂化但又缺少技术架构梳理和重构而欠下的技术债。 后来实际面试中 CEO 和几位技术负责人都参加了,轮到技术负责人提问时,他们提的也确实都是那类问题:业务不能停、个例用户也要支持、业务牵引而缺少技术决策主导等等。 实际上是非常典型的问题,就是业务快速发展的阶段,由于经验能力和时间分配等,忽略了技术架构和工程。当然有一个好的前提是,公司发展很好,且团队意识到了技术上的问题。接下来就来到技术负责人要做的工作:梳理业务痛点、以最痛点的几个问题切入专项解决、先把业务稳住再把专项解决的方案落到各个端。在这个阶段,同步梳理哪些功能可以抽离解耦、各端口协议如何做归一化、数据埋点和日志补全降低排查难度、提升功能使用情况监控。 同时在团队内落地和规范 AI Coding,边解决问题,边渗透 AI Coding 边加速,让研发团队的小的成果不断对业务产生价值,提升信任感和团队的成就感,再内部挖掘可以提供业务附加价值和创新点的方向,部分人和精力投入预研,拿出能打的东西来! 这样有 2-3 个月时间,就能看到研发团队的变化,也差不多到了技术负责人试用期考核中期了,这份答卷,应该不会差。
顯示更多
0
17
33
2
轉發到社區
我儿子学习和平时玩的游戏 App,现在基本都是我 Vibe Coding 的了,看到哪个 App 要收费,直接手搓一个,最多半小时就能用了,边用边提要求,边让 Claude Code / Codex 改,前后几轮改完就基本满足需求了 给孩子做 App 不是啥复杂大型企业项目,所以 Claude Opus 5.5 这种重型武器一般用不上,Flash 类模型最为合适,速度快、可以更快看到效果更快迭代;另外多模态也是很实用的能力(收费 App 截图要求 1:1 复刻 😂) 再给大家分享一下给孩子做的打字游戏,分为不同字母进阶和句子大写空格等游戏:
顯示更多
最近同事看到手机上自己做的一个记录APP,也想要一个给她家小朋友学习打开的APP。 设计了一版手机APP的UI,手机版的设计出来之后,想着也做个网页版本的吧。 小蜜蜂学习看板原来是按手机排的,进度卡在上,任务清单在下。我想试个电脑版,打开就能一起看今天要做什么、这周做了多少。 我把手机稿发给 Ling Studio 里的 Ling-3.2-flash,打了这么一句。 “帮我根据这个设计的图,制作成网页” 它给了我一份 HTML,打开就是图一,就是在电脑上套了个手机壳。 网页是做出来了,四个入口也都在,内容还是挤在屏幕中间那一条里。 我那句确实只说了做网页,就是把手机的设计稿复刻了一下,不是真正的网页版本。 第二轮我没再传图,就补了一句。 “能不能适配一下,pc端的网页,而不是模拟的手机端页面” 这次把「今日、练习、资料、成长」挪到了左边,任务清单摊在中间,原来叠在清单上面的进度卡也摆到了旁边。 这是算是真正的网页端了。 如果说第一版是一句话复刻的设计稿,那么第二版是有加入了想法的感觉,理解力更强了, 总的来说不管第一次还是第二次的版本都是能给你需求来完成任务。 在线体验入口: API体验:
顯示更多
0
32
102
13
轉發到社區
第二个面试感受 这次不太一样,和过去参加过的面试都不太一样,倒是和付费咨询很像,对,非常像! 面试开始,甚至我都没做自我介绍,三位面试官就开始直接问问题了。 问的问题场景实在太具体,我就不直接说了,可能容易中目标。模糊一点讲,就是如果我们要私有化部署 MiniMax H3,成本多少,你自己实际工程中用的话,生成效率怎么样?部署后需要有专职的运维吗?如果要支撑 100+ 用户并发,需要什么样的 GPU 配置,最低多少?你们跟云服务能谈到的最低折扣多少? 还有另一个问题,跟 RL 相关,如果我们想基于 MiniMax H3 做特定场景要求的 RL,需要的数据量是多少?要具体。实现这个场景要求对数据的内容要求是什么,能一次获取完整吗?RL 周期多长、保证效果吗?如果达不到,还有其他办法吗?成本如何? 实现上面这些功能,如果想在 1 个月内上线,2 个人够吗?算上你。因为我们现在有一个实习生了。 嗯,大概这些,感觉我并不是在面试,像是接了个项目,跟甲方做前期沟通呢。所以我要不要真的按项目跟甲方沟通,顺便把报价和工期也谈一谈 😄
顯示更多
这段时间集中面试,公司的阶段、人数、行业、组织和问题千差万别,也想借这次机会更多接触不同的企业来补充自己对于不行业和团队的理解。 我也想把面试中遇到的一些典型问题记录下来,当然会脱敏,意图不是曝光或八卦,主要还是在具象问题中抽象出更合理的解决办法,希望对各位在职场中的朋友有所启发,也希望对在看机会的朋友面试有一些心里准备,哪些是痛点、哪些是雷点,能分清。 我都记录在这篇内容下吧,先来第一个: 一家硬件和 SaaS 软件公司,HR 前置沟通一再强调,团队目前遇到了很深的技术难题,希望有 tl 来带队攻坚! 但我初步了解了产品形态后,感觉不太对,他们遇到的肯定不是单纯的技术难题,是业务不断发展累加、不断复杂化但又缺少技术架构梳理和重构而欠下的技术债。 后来实际面试中 CEO 和几位技术负责人都参加了,轮到技术负责人提问时,他们提的也确实都是那类问题:业务不能停、个例用户也要支持、业务牵引而缺少技术决策主导等等。 实际上是非常典型的问题,就是业务快速发展的阶段,由于经验能力和时间分配等,忽略了技术架构和工程。当然有一个好的前提是,公司发展很好,且团队意识到了技术上的问题。接下来就来到技术负责人要做的工作:梳理业务痛点、以最痛点的几个问题切入专项解决、先把业务稳住再把专项解决的方案落到各个端。在这个阶段,同步梳理哪些功能可以抽离解耦、各端口协议如何做归一化、数据埋点和日志补全降低排查难度、提升功能使用情况监控。 同时在团队内落地和规范 AI Coding,边解决问题,边渗透 AI Coding 边加速,让研发团队的小的成果不断对业务产生价值,提升信任感和团队的成就感,再内部挖掘可以提供业务附加价值和创新点的方向,部分人和精力投入预研,拿出能打的东西来! 这样有 2-3 个月时间,就能看到研发团队的变化,也差不多到了技术负责人试用期考核中期了,这份答卷,应该不会差。
顯示更多
0
17
33
2
轉發到社區
Garry Tan 开源「g-harness-evals」:同一个前沿模型做同一批任务,只换掉 agent harness,也就是系统提示、工具和记忆这些外围设计,谁更准,谁更省钱? 测什么,怎么判分 任务不是编程题这种评测,是一家虚构公司 Pemberline 的多人办公场景。测试搭了一个模拟的 Slack,让 agent 担任团队机器人,处理权限、审批,以及别人在后续对话里提出的纠正。主榜用的是 v0.3 版本的 20 道公开开发集任务。 模型固定为 Opus 5.5 或 GPT-6.1 Sol,只换 harness。Opus 这边比较 Claude Code、Hermes、OpenClaw 和 QM,Sol 这边比较 Codex、Hermes 和 OpenClaw。Claude Code 和 Codex 各自绑定自家模型,所以两者之间不做同模型对比。 判分不看 agent 自己怎么说,而是检查任务结束后的系统状态和事件日志,确认答案是否正确、有没有泄密、有没有越权读取。费用按计量代理记录的标价计算,用总花费除以通过的题数,得出解出一题平均花多少钱,另外报告耗时中位数。 评测结果关键数字 准确率方面,Garry 认为各个 harness 的通过率区分不开,大约都在 71% 到 79% 之间,Hermes 配 Opus 的点估计是 78.8%。20 道题里有 14 道在所有组合下得分完全相同,8 到 14 个百分点以内的差距基本无法确认。Garry 也承认这套题已经接近饱和。 真正拉开差距的是成本和速度,这部分只是描述性数据,没有做统计检验。在 Opus 上,OpenClaw 解出一题约 0.44 美元,耗时中位数约 99 秒。其余几个 harness 约 0.19 到 0.24 美元,Claude Code 和 QM 大约 40 秒。在 Sol 上,Codex 约 0.17 美元、30 秒左右,又便宜又快。作者把 OpenClaw 偏贵归因于提示更长、缓存写入更多。 失败案例里,跨频道纠正这类任务所有 harness 都容易出错。Garry 也提醒,这是开发集而不是留出集的确认结果,OpenClaw 有部分组合没跑完,QM 的网络条件也没和其他组对齐。
顯示更多
0
24
19
4
轉發到社區
我儿子学习和平时玩的游戏 App,现在基本都是我 Vibe Coding 的了,看到哪个 App 要收费,直接手搓一个,最多半小时就能用了,边用边提要求,边让 Claude Code / Codex 改,前后几轮改完就基本满足需求了 给孩子做 App 不是啥复杂大型企业项目,所以 Claude Opus 5.5 这种重型武器一般用不上,Flash 类模型最为合适,速度快、可以更快看到效果更快迭代;另外多模态也是很实用的能力(收费 App 截图要求 1:1 复刻 😂) 再给大家分享一下给孩子做的打字游戏,分为不同字母进阶和句子大写空格等游戏:
顯示更多
最近同事看到手机上自己做的一个记录APP,也想要一个给她家小朋友学习打开的APP。 设计了一版手机APP的UI,手机版的设计出来之后,想着也做个网页版本的吧。 小蜜蜂学习看板原来是按手机排的,进度卡在上,任务清单在下。我想试个电脑版,打开就能一起看今天要做什么、这周做了多少。 我把手机稿发给 Ling Studio 里的 Ling-3.2-flash,打了这么一句。 “帮我根据这个设计的图,制作成网页” 它给了我一份 HTML,打开就是图一,就是在电脑上套了个手机壳。 网页是做出来了,四个入口也都在,内容还是挤在屏幕中间那一条里。 我那句确实只说了做网页,就是把手机的设计稿复刻了一下,不是真正的网页版本。 第二轮我没再传图,就补了一句。 “能不能适配一下,pc端的网页,而不是模拟的手机端页面” 这次把「今日、练习、资料、成长」挪到了左边,任务清单摊在中间,原来叠在清单上面的进度卡也摆到了旁边。 这是算是真正的网页端了。 如果说第一版是一句话复刻的设计稿,那么第二版是有加入了想法的感觉,理解力更强了, 总的来说不管第一次还是第二次的版本都是能给你需求来完成任务。 在线体验入口: API体验:
顯示更多
0
32
102
13
轉發到社區
我猜马斯克想说的是: 在中文里 𝕏 是「牛逼」的意思。 确实,我们平时会说「牛𝕏」,𝕏 默认那个被和谐消音的字。。叉 以前公司品牌叫 xTool,也很少有同事会正经读那个 x,基本都叫做 叉 tool 😅
顯示更多
PMs are back:Gemini 产品负责人谈 AI 时代,为什么产品判断更值钱 Lenny’s Podcast 对谈 @tulseedoshi :AI 降低了实现成本,却没有降低选错方向的代价。当“能不能做出来”不再最难,做什么、什么才算好、哪些能力值得押注,就更重要。 # 不只设定指标,也要发现模型的新能力 Tulsee 负责 Google 前沿模型的产品工作。她指出,模型开发不像传统软件那样,按规格实现就能得到确定结果。训练需要目标与评测,但也会出现预期之外的能力。 产品负责人既要检查指标,也要亲自使用模型,发现它在哪些任务中表现突出,再判断这些能力能否形成有价值的体验。只看排行榜,可能错过真正值得产品化的变化。 # 判断力要靠使用和评测建立 她招聘时重视持续使用模型、有自己的质量标准、能动手做评测,并愿意随能力变化调整路线的人。 评测不必一开始就很大:先选 5—20 条真正关心的提示词,亲自判断结果,明确“好”的标准,再逐步扩展。这样得到的判断,比笼统地说某个模型更强更有用。 模型升级后,系统提示、工具和技能也要重新测试。以前为弥补短板加上的规则,可能已经多余,甚至开始限制新能力。 # 60/20/20:兼顾今天交付和未来能力 她提出一种可调整的投入方式:约 60% 做当前能稳定实现的能力,20% 押注近期可能补齐的能力,另 20% 探索已经出现苗头、但尚未成熟的体验。 重点不是严格照搬比例,是避免两个极端:只围绕今天的局限设计产品,或者把全部价值押在未来模型一定会进步上。
顯示更多
Why PMs are suddenly valuable again with Tulsee Doshi (@tulseedoshi)—Head of Product for @Google’s frontier AI models, including @Gemini, Nano Banana, Genie, Veo, and more. We discuss: 🔸 The rising value of great PMs 🔸 Google’s full-stack frontier AI strategy 🔸 Why model development is like Snape’s potions class 🔸 Why the PM role has shifted from writing requirements to creating something with “heft 🔸 How to write your first eval Listen now 👇
顯示更多
0
31
15
2
轉發到社區
智谱蒸馏已经成为行业典范了吗 😀
0
53
257
16
轉發到社區
这段时间集中面试,公司的阶段、人数、行业、组织和问题千差万别,也想借这次机会更多接触不同的企业来补充自己对于不行业和团队的理解。 我也想把面试中遇到的一些典型问题记录下来,当然会脱敏,意图不是曝光或八卦,主要还是在具象问题中抽象出更合理的解决办法,希望对各位在职场中的朋友有所启发,也希望对在看机会的朋友面试有一些心里准备,哪些是痛点、哪些是雷点,能分清。 我都记录在这篇内容下吧,先来第一个: 一家硬件和 SaaS 软件公司,HR 前置沟通一再强调,团队目前遇到了很深的技术难题,希望有 tl 来带队攻坚! 但我初步了解了产品形态后,感觉不太对,他们遇到的肯定不是单纯的技术难题,是业务不断发展累加、不断复杂化但又缺少技术架构梳理和重构而欠下的技术债。 后来实际面试中 CEO 和几位技术负责人都参加了,轮到技术负责人提问时,他们提的也确实都是那类问题:业务不能停、个例用户也要支持、业务牵引而缺少技术决策主导等等。 实际上是非常典型的问题,就是业务快速发展的阶段,由于经验能力和时间分配等,忽略了技术架构和工程。当然有一个好的前提是,公司发展很好,且团队意识到了技术上的问题。接下来就来到技术负责人要做的工作:梳理业务痛点、以最痛点的几个问题切入专项解决、先把业务稳住再把专项解决的方案落到各个端。在这个阶段,同步梳理哪些功能可以抽离解耦、各端口协议如何做归一化、数据埋点和日志补全降低排查难度、提升功能使用情况监控。 同时在团队内落地和规范 AI Coding,边解决问题,边渗透 AI Coding 边加速,让研发团队的小的成果不断对业务产生价值,提升信任感和团队的成就感,再内部挖掘可以提供业务附加价值和创新点的方向,部分人和精力投入预研,拿出能打的东西来! 这样有 2-3 个月时间,就能看到研发团队的变化,也差不多到了技术负责人试用期考核中期了,这份答卷,应该不会差。
顯示更多
那个复刻 Adobe 全家桶的 **Craft 开源项目,现在又盯上 Office 了: PPT -> deckcraft Word -> wordcraft Excel -> gridcraft @get_artcraft 开源项目
顯示更多
0
11
41
8
轉發到社區
为什么工程师对 AI Agent 的感受如此两极分化 ? 面对 AI Coding Agent,为什么有人兴奋、有人悲伤 ?仅仅是因为「爱写代码 vs 爱交付」的区别吗 ? @addyosmani 认为这个区分太简单粗暴了,他拆分出三种喜悦来源: 1. 创造的喜悦(making / flow)亲手塑造事物、心流沉浸的快感。最安全。它只是上移了一个层次:你依然在创造,只是从塑造每一行代码变成塑造系统本身;而且你随时可以自己动手写。手没有失去,只是握的工具变了。 2. 知晓的喜悦(knowing)对系统拥有强大的心智模型,一眼就能猜到 bug 在哪。这是最危险的一种。Addy 的关键警告是:从 Agents 的建议里“挑选一个选项”和“自己凭空构想出一个想法”是完全不同的技能。如果总是挑选而从不构想,构想的能力就会退化;如果你不理解自己的代码库,名义上是你在用代理,实际上是 Agents 在指挥你。 3. 重要的喜悦(mattering)作为不可或缺的专家被需要的感觉。不降反升。你的判断力前所未有地重要:是你决定解决什么问题、注入自己的品味、并对最终产出负全责。Agents 放大了执行,也就放大了决策者的权重。 最有价值的一点:把“悲伤”重新定义 结尾出现了一个容易被忽略但很关键的转向:他拒绝把对 AI Agents 的失落感病理化。悲伤不是“适应失败”的信号,是你对工作有真实依恋的证明。眼看着自己珍视的工作方式被改变,产生哀伤是再自然不过的人类反应。这相当于对“你不拥抱 AI 就是落后”这类论调的一次温和反驳:抵触情绪本身不说明你有问题。 他的落点建议是:“Lean into the things that make your work yours, and work on them more.”,不对抗工具,主动守护那些构成你职业认同的核心。
顯示更多
Whether agents feel like liberation or loss depends on which joy of engineering you lean on most: making, knowing, or mattering. I've seen engineers say many conflicting things about agents: some are bubbling with excitement and for the first time ever, they feel like they're in an all-star lineup, while others mourn for the death of their craft, leaving them feeling hollow. I'm someone who works with agents every day, so I understand these sentiments. Rather than take sides, my hope is that I help you understand this in a more nuanced way. Too often we see two camps: people who love the joy of coding and people who love the joy of shipping. I think this is a gross oversimplification. Rather than asking you to pick a side, I want to ask you to reflect on the elements of your work that are the most nourishing to you. I think most of us have three sources of joy in our work, which we interweave in multiple ways: - The joy of making (or "flow"): the joy of molding things in our hand and feeling that sweet moment when it all clicks into place. - The joy of knowing: the joy of having such a strong mental model of our systems that we sense where a bug will be just by glancing at files. - The joy of mattering: the joy of knowing that you are the expert that it all relied on. Agents affect each of these elements in subtly different ways, which is why this discussion can be so complicated (we're mourning for different losses, and we're arguing from different places). The joy of making is easy to maintain. it just moves up a level. You're not shaping every line anymore. You're shaping the system or factory, in a loop fast enough that flow still happens. And when you miss the old flow, nothing stops you from writing the code yourself. The joy of knowing is especially at risk of erosion, so it's important to pay attention to it. Sometimes you'll realize you're reaching for a design you should be able to conjure automatically, but your intuition comes up with nothing. Picking an option from an agent's suggestions is a different skill than conjuring an idea in the first place. If you always pick and never conjure, the ability to conjure will erode. You can't direct something you don't even loosely understand. If you don't understand your own codebase, you're not directing an agent to do something, the agent is directing you. You matter. Obsolescence does affect you, but, you, your judgment, and especially your need for judgment, has never been more important. You get to decide what problems to solve, and you get to bring your taste and judgment to the work you do. You get to take ownership of it, all of it, whatever ships. That feeling of sadness isn't a sign of failure to adapt. Grief means that you're attached to something, and that it's natural to feel grief when you see your work changing in ways that feel unfamiliar. Lean into the things that make your work yours, and work on them more.
顯示更多
感叹中文的博大精深和尊界公关能力之强! 按照高于国家标准的要求完成全流程开发与验证 ? 即便是非标准的极端测试工况? 为用户提供更高的安全冗余? 进一步优化该部件设计? 为已交付用户提供免费升级选择? 说人话,是不是:召回!
顯示更多