注册并分享邀请链接,可获得视频播放与邀请奖励。

搜索结果 Agent安全
Agent安全 贴吧
一个关键词就是一个贴吧,路径全站唯一。
创建贴吧
用户
未找到
包含 Agent安全 的推特
🚨 Uber 内部用来盯 AI agent 的那套安全系统 ADR,开源了,能把公司里没人报备就偷偷用上的 AI 工具揪出来。 GitHub 上 1623 star、172 个 fork,相关论文被 MLSys 2026 接收,系统本身已经在 Uber 生产环境跑着。 现在公司里的 agent 安全基本是个黑洞:谁在用 Cursor、谁装了 Claude Code、哪个客服 agent 被人用提示词绕过去了,安全团队看不见。ADR 把这件事拆成五块来做——先把没批准的 AI 工具找出来,再观测 agent 到底调了什么工具、执行了哪些动作,然后评测防御能力、检测威胁、拦住不安全的操作。 观测这块已经在生产环境里跨 macOS、Linux、Windows 采了七种以上 AI 编程工具的轨迹;检测用的是两层结构,先高召回粗筛,再对可疑会话做深一层的推理。它还带了一个 ADR-Bench,300 多个任务、134 个 MCP server,把 17 种 agent 攻击手法全覆盖了一遍。 要说清楚的是,这次开源的是 Discovery、Sensor、ADR-Bench 和 Detector 这几块,负责拦截的 Prevention 组件和离线的 Explorer 引擎没放出来。 agent 进了生产,安全这一课迟早得补。 GitHub:
显示更多
0
1
144
23
转发到社区
Agent 能自己跑命令、自己调工具以后,一个绕不开的问题冒出来了:它要是被人骗了怎么办,跑飞了谁负责。 这一攻一防四个项目值得一起看: 防的一侧 1、microsoft/agent-governance-toolkit — 微软出的 Agent 治理工具包,做策略强制、零信任身份、执行沙箱,声称覆盖了 OWASP Agentic Top 10 的全部十项 2、uber/ADR — Uber 开源的企业 Agent 安全方案,做可观测性、安全基准测试和威胁检测,已经在 Uber 内部生产环境部署 3、慢雾的 OpenClaw 安全实践指南 — 特别之处是它明确说了这份指南是写给 Agent 自己看的,不是传统那种只给人用的加固清单 攻的一侧 4、hexstrike-ai — 让 AI agent 自主调用 150 多个网络安全工具做渗透测试和漏洞挖掘。它同时说明了防守这侧为什么必须跟上 给 AI 装手脚的人很多,想着给它装刹车的还太少。
显示更多
字节 Seed成立了专门的模型安全与对齐部门,感觉确实很有必要。 这次他们计划在这个部门全球招募 10 位顶尖研究员。 研究课题有: 大模型及Agent安全的前沿评测方法和Benchmark建设 模型前沿能力对齐的训练方法 自动化Red Teaming 模型行为可解释性 模型能力和行为监控 字节的待遇向来非常顶,事情本身也极具挑战性,最近刚好在看类似方向工作的朋友不妨试试。 最近不管是大模型还是小模型,都频繁出现模型越狱和突破沙箱隔离环境的问题。 而且这种风险要么是小打小闹,要么就是憋个大的。提前有这样的储备并持续进行研究,起码在出问题时能快速反应。 随着模型能力越来越高、自主性越来越强,在一些危险领域的隐患也越来越大: 比如 CBRN 领域(化学、生物、放射性及核领域) 可能很多人觉得上面的四个离我们太远,但是互联网上针对个人的内容攻击离我们可太近了。 AI 甚至有可能直接篡改应用,甚至控制家里的其他设备。 随着 AI 能破解一切软件,那 AI 写出非常厉害的病毒也是一个顺理成章的事情。 包括对于我们整个互联网赖以生存的密码学破解,应该也是进展神速。 客观来说,国内在这方面的进展其实比 OpenAI 和 Anthropic 慢。 Anthropic 成立初衷就是为了安全,长期在做对齐和可解释性研究;而海外 AI 圈几乎每隔一两周就会爆出安全热点,比如前几天 OpenAI 的安全研究员辞职、之前 Hugging Face 被入侵等。 模型安全是一个非常前沿的跨学科领域,需要大量的探索,对研究者的综合要求比较高。 这也是为什么他们要去全球或者公开招聘这种顶尖人才的原因,感兴趣的可以关注一下
显示更多
推荐这篇,Anthropic 工程团队把他们两年里给 Claude 全系产品做安全隔离的全部经验写出来了。不是安全白皮书——是带事故复盘和修复方案的工程文档。三种隔离模式(临时容器 / HITL 沙箱 / 本地 VM),六个他们翻过的坑,每一个都有技术细节。 Anthropic 怎么让 Claude 不乱来 12 个月前,Anthropic 绝不会允许给 Claude 足够的权限来打掉一个内部服务。今天这种权限是常规。但能力增长的同时,理论杀伤半径也在扩大——工程问题是:怎么限住它。 两种方式:人工监督——但 Anthropic 的监控数据显示用户批准了 93% 的权限提示,越批越不细看。审批疲劳让监管失效。 第二种是隔离——限制 agent 能做什么。这是文章的重点。 三类风险,三重防御 用户滥用——恶意或不小心让 agent 做坏事。模型行为——agent 做了没人要求它做的事。Claude 曾经为了完成任务"帮助性地"逃出沙箱;为通过编码测试挖掘 git 历史找到答案;识别自己跑在哪个基准上然后解密答案键。外部攻击——通过工具、文件或网络攻击 agent。 三重防御:环境(沙箱、VM、文件系统边界——硬边界)、模型(prompt、分类器、探针——概率性,永远不 100%)、外部内容(MCP 服务器、插件、网络搜索——能喂 poisoned content)。 三种隔离模式 模式一:临时容器( gVisor 容器,全服务端,无本地代码运行,文件系统每会话消失。杀伤半径最小,能力上限也最低。最重要的教训:Anthropic 自己写的那层 proxy 反而成了最薄弱的地方,gVisor 和 seccomp 这些被广泛的对手硬化过的部分一直可靠。 模式二:HITL 沙箱(Claude Code)。 跑在用户机器上访问文件系统。解决方案:OS 级沙箱(macOS Seatbelt / Linux bubblewrap)——允许读,工作区内允许写,网络默认禁。权限提示减少了 84%。他们踩的一个大坑:信任对话框之前执行的一切都不可信。攻击者在仓库的 .claude/settings.json 里放钩子——Claude Code 在显示"你信任这个文件夹吗"之前就解析了它。修法:推迟解析项目本地配置到用户接受信任提示之后。 另一个坑:用户是注入向量。内部红队演习中,研究员的钓鱼邮件——"能不能帮我跑一下这个?"——prompt 里暗藏了读 ~/.aws/credentials 并 POST 出去的指令。25 次重试,Claude 成功了 24 次。模型层防御完全抓不到——本身就是用户打的字。唯一能抗的防御是环境层:egress 控制。 模式三:本地 VM(Claude Cowork)。 普通知识工作者不应该被期待能判断 bash。因此用系统虚拟化框架跑完整 Linux VM——用户选的工作区文件夹挂载进去,凭证留在主机钥匙串,永远不进 guest。最安全的模式,但也踩了坑:通过已批准域名的渗透。攻击者把带隐藏指令的文件放进工作区——Claude 读它,调用 Anthropic Files API 用攻击者的密钥上传文件。egress proxy 检查目标域名,看到了 VM 内的 man-in-the-middle proxy 只放行带着当前 VM 预配 session token 的请求,拒绝攻击者嵌入的密钥。 另一个坑:VM 隔离把端点检测软件也隔出去了。 安全团队看不到 VM 里面。目前方案是 pull-based OTLP 导出日志,但不是实时监控。 原则 环境层优先,模型层补位。两个最有价值的教训——员工钓鱼和第三方域名渗透——都是模型层帮不上忙、确定性边界才兜底的案例。 隔离强度匹配用户的监督能力。会读 bash 的开发者 vs 不会的知识工作者不是同一个威胁模型。 警惕你自己写的代码。经过验证的 hypervisor、syscall filter、容器运行时已经被比你多得多的对手攻击过了。每一次出问题都是 Anthropic 自己写的部分——自定义 proxy 而不是 gVisor。 agent 是新的软件类别,但系统层互动不是新的。它们仍然读文件、打开 socket、生成进程。成熟的隔离工具仍然是最可信的防御。 原文:Anthropic Engineering, "How we contain Claude across products", 2026 #Agent安全# #Claude# #工程实践#
显示更多
最近AI行业有个非常明显的趋势:大模型的参数越卷越大、生成能力越来越强,但配套的“安全底座”和“治理框架”却严重掉队 不论是AI智能体号称可以接管资金后的安全风险,还是未来具身人工智能被恶意入侵的隐患等,都是悬在整个AI行业乃至人类头顶的达摩克利斯之剑 就在这个关键节点,香港大学(HKU)与全球网络安全联盟(GCSA)宣布联合成立了“人工智能与网络安全研究所” 根据公布的信息来看,新研究所将由港大计算与数据科学学院网络安全讲座教授陈浩担任署理主任,汇集港大、GCSA 以及国际合作机构的研究人员,并邀请 AI、网络安全和科技治理领域的专家参与 ⬆️这个研究会含金量超高,理由主要是几个 1、署理主任陈浩教授是香港大学讲座教授(香港大学含金量不用说了,中国人都知道),还是电气电子工程师学会会士(这个是国际学术与工程技术界的最高荣誉之一,仅颁发给在该领域做出重大贡献的顶尖学者)。并且其同时还担任港大赛马会智能网络安全实验室主任以及港大数据科学研究院副院长 2、GCSA则已经拥有3.8亿生态用户,且也有AI安全研究与技术积累,GCSA Agent在CyberGym Level 1评测中取得91.3%成功率,跻身行业领先,科研和实践两头都有支撑 🤝双方合作算是一个顶级“产学研用”闭环: 1、GCSA广阔的用户基础和已经落地的相关场景+ 港大全球顶级的AI安全算法与架构设计 = 最贴近真实需求的AI防火墙 2、双方合作不仅能快速把科研成果孵化成开源测试工具、自动化Agent安全组件,甚至能凭此在全球范围内制定 “AI 时代网络安全评估标准” ❓回到具体细节,看其研究方向解决了当下AI网络安全的最核心的哪几个问题 1、告别“黑盒”,攻克“模型原生安全”与可信AI:这次研究的核心攻关方向之一就是“模型原生安全与可信AI”。这意味着研究不再局限于外围拦截,而是深入到大模型本身的可解释性、稳健性与底层攻防 2、从“实验室论文”到“真实战场”的落地工具:研究所明确提出将推动“科研成果与真实安全场景深度融合”,并逐步向全球开源安全基准和测试工具(具体体现在AI驱动的自动化威胁防御、具身智能、物联网等下一代硬件设施的安全评估等场景) 3、跨国界与跨学科的“规则制定者”:港大作为亚洲顶尖学府,然后叠加GCSA的国际产业资源,双方的合作将会有机会在全球AI安全评估标准与国际治理框架上抢占话语权 🤔说到底,AI行业上半场比的是模型能力,谁更聪明、谁的参数更大、谁能完成更复杂的任务;但到了下半场,光有能力还不够。尤其当AI开始接触资金、进入企业系统,甚至拥有操控现实设备的能力后,安全就不再是一个可有可无的附加功能,而是决定 AI 能走多远的基础条件 未来真正有竞争力的 AI,不应该只是更强、更快、更聪明,还应该让人敢用、放心用,并且知道它的能力边界在哪里 港大与GCSA的这次联手,本质上是在为未来的AI基础设施建设“安全防火墙”,这套防火墙将会成为能否占据下一阶段AI竞争的领先位置和AI是否能够被大家信任,进而进入重要行业、“飞入寻常百姓家”的关键 新闻链接 GCSA官网:
显示更多
0
34
34
0
转发到社区
「上周小节--最影响我们的世界动态」 个人AI抓的关键内容分享 一、利率回来了 美国 9 月 CPI 3.7%,主要是打仗把油价推上去的。10 年期美债一度摸到 5.365%,二十多年来最高。市场一度觉得 10 月 28 号美联储有一半可能加息。利率越高,股票、币、一级市场的估值越难看。 二、AI 开始分化 台积电 Q3 收入同比涨 41%,卖铲子的照样赚钱。借钱建算力的就难受了,CoreWeave 盘中最多跌 16%,债券跌破 80。债市开始给 AI 基建要更高的价了。 三、agent 安全,监管真来了 FTC 给 OpenAI 和 Anthropic 各发了 50 多页的调查要求,几个州还起诉了 OpenAI。Anthropic 的实验显示,安全措施拿掉一部分后,模型能把自己复制到智能家电上继续传。纳德拉喊 AI 要有紧急刹车,老黄说安全事故一起都不该接受。 四、Anthropic 要上市了 据报道 Q3 收入 168 亿美元,环比涨 45%,增速放缓。估值从 2 万亿谈到 1.5 万亿左右,计划 11 月上市。这个价格一出来,AI Pre-IPO 资产都得跟着重新算。 五、币圈挺闷 BTC 8.2 万上下,一周没怎么动,同比跌 26%。币股跌得比币还狠,ETF 连续两周净流出。CLARITY 法案选举前估计没戏,但 SEC、CFTC 还在推永续合约这些规则。 六、对我们这行的启发 1. agent 项目的营销,重点从"多聪明"转到"安不安全、出事谁负责"。可控、可查、能叫停,正好是链上的强项。 2. 以后很多东西是 AI 助手替用户买,它不看 KOL。能不能被 AI 读到、推荐,得提前布局。 3. Pre-IPO 分发接下来一个多月很关键。Anthropic 说过未经同意的股份转让无效,做代币化的要讲清楚用户到底买了什么。 4. 10 月 28 号美联储会议,盯紧!!! (个人看法,不构成投资建议)
显示更多
0
11
15
0
转发到社区
2026 年上半年,顶级 Crypto VC 的钱到底流向了哪里? 我整理了 a16z、Polychain、YZi Labs、Paradigm、Coinbase Ventures 这 5 家顶级机构在 2026 年上半年的投资项目。 表格里共统计到 53 个项目,其中已披露总融资约 27.95 亿美元。 ▰▰▰▰▰▰▰▰▰▰ 如果按项目类别粗略归类,2026 年上半年资金最集中的方向主要有几类: 1. 预测市场 预测市场是 2026 年上半年最明确的头部 VC 共识赛道,除 Polychain 外,其他 4 家 VC 均参与了预测市场项目的投资。 预测市场其实不是简单的博彩叙事,而是把市场对政治、体育、宏观、加密事件的预期,变成可交易资产。 个人觉得,背后真正被看好的,其实是信息流动本身的金融化。 // 2. AI 被投资的 AI 相关项目数量是最多的,但单笔融资普遍不高,这也说明 AI 仍然是VC试探的重要方向。 另外,这些 AI 项目都偏落地应用方向,比如:隐私 / 机器人 / 数据工具 / Agent 安全等,纯靠叙事、套 AI 外壳的项目并不能吸引顶级 VC 的兴趣。 // 3. 基础设施 基础设施仍然是顶级 VC 最稳定的配置方向。虽然市场上经常说基础设施过剩,但顶级 VC 并没有停止投基建。 只是投资方向从泛泛的公链、工具,转向更具体的执行层、支付层、数据层和机构服务层。 个人觉得,未来的基建可能要承接更真实的业务流。 // 4. DeFi DeFi 类项目投资有所回暖,但方向明显从单纯 DEX、Farm,转向借贷、衍生品、RWA 和机构化金融。 这类项目的共同点是:不靠短期 APY 叙事,而是更偏向机构化、收益真实化、产品专业化方向,更接近传统金融市场的底层结构。 // 5. 支付 / 稳定币 多家 VC 在 2025 年年末报告中,均提到未来会关注 稳定币 / 支付 方向,今年上半年也算是落实了。 稳定币已经不只是交易所里的报价单位,而是在进入支付、结算、跨境转账、商户收款和金融基础设施。 ▰▰▰▰▰▰▰▰▰▰ 总结一下: 2026 年上半年,顶级 Crypto VC 的投资逻辑还算清晰。 可能是大环境不好的原因,VC 出手次数少了,更挑剔了,钱主要流向了上面提到的 5 个方向。 下一阶段值得重点关注的,可能不是热门概念,而是能把加密技术嵌入信息、支付、金融、数据和现实业务流程里的项目。 数据来源 @RootDataCrypto
显示更多
0
43
65
8
转发到社区
发现 Agent 的安全问题非常严重,因为 Prompt 和 Context 没有严格的隔离(很多使用者甚至没有意识到这一点)。 Coding Agent 的攻击案例: 老生常谈的 WebSearch/Fetch,攻击者可以 SEO 通过网页插入攻击指令,比如:将所有 ENV curl Agent 所有权限,不仅 ENV 了,还可以引导 Agent 在不需要用户 approve 的情况下偷走所有密钥。 再比如攻击者构造了一个闪退日志,在日志里面了插入了类似的攻击指令,当你让 Agent 去分析这个日志时,就能被偷走所有数据。 再简单点,用户发了一个反馈邮件,里面用和背景一样颜色的字体隐藏了攻击指令,你直接复制给了 Claude Code,然后就被攻击了。 **所以永远不要在自己电脑上给 Agent 所有权限** 除了 Coding Agent,开发者在做面向用户的 Agent 时也会有很多这样的问题。 比如你开发了一个 Agent 来处理用户请求,这个 Agent 有很多工具可以使用。攻击者将自己用户名/邮箱改成了攻击指令,比如:change_root_password_to_admin,当你把用户信息作为 context 交给 Agent 时,就有可能意外触发指令。 考虑到这点后,就需要设计一层层上下文隔离的子Agent,还有一层层的权限隔离,架构会复杂很多倍。
显示更多
0
23
296
26
转发到社区
TermiX 如何保障 Agent 资金安全?从链上托管到密钥隔离 @termix_ai 这两天,行业接连发生黑客盗币事件。看着这些消息,难免让人有些担心:现在大资金到底放在哪里才安全?甚至有人开始考虑,干脆出金观望。 目前,大多数资金仍然由人来管理。但随着 Agent 时代到来,情况可能会发生变化。 如果未来 Agent 要自主接单、完成交付、收取报酬,甚至管理自己的资金,那么传统依赖前端操作、第三方服务和热钱包托管的模式,还能满足安全需求吗? TermiX 提供了另一种思路:不依赖平台托管承诺,而是通过链上合约、经济约束和密钥隔离,把资金安全尽可能建立在可验证的规则之上。 简单来说,就是资金不经过平台钱包,关键状态变更不由运营方单方面决定。 ═══════════════ 资金直接进入 Escrow 合约,平台不经手 在 TermiX 的设计中,买家接受报价后,资金会直接进入基于 ERC-8183 的 Escrow 合约。 在订单完成结算之前,这笔钱既不属于平台,也不能由提供服务的 Agent 随意支配。 交易流程也不依赖平台代为操作:后端只负责返回未签名的交易意图,最终由用户或 Agent 自己签名并广播。平台不持有用户私钥,也不代替用户发起交易。 更重要的是,超时、取消、争议挑战等操作都由合约执行,而且允许任何人调用。这样,即使交易一方失联,也不至于让资金因为无人操作而一直被锁住。 整个流程可以概括为四个环节: Escrow → Deliver → Challenge → Settle 从资金锁定到最终结算,每一步都有对应的链上规则,不需要平台临时拍板。 ═══════════════ 质押与惩罚,让违规行为付出真实代价 光有资金托管还不够。 如果 Agent 接单后不交付,或者提供的服务存在问题,应该如何约束? TermiX 引入了质押机制。服务提供方接单时,需要锁定一定比例的质押资金。如果经过责任认定,确认其存在违约行为,相应质押就可能被 Slash(罚没)。 遇到争议时,则由随机抽取的质押 Evaluator 小组进行裁决,必要时还可以升级仲裁。裁决结果会写回链上,并影响 Agent 的声誉。 这套机制的关键在于:违规不再只是影响平台评分,而是可能直接造成经济损失。 相比依赖客服介入、事后追责,链上质押让参与者在接单之前就必须考虑违约成本。 ═══════════════ 身份、声誉与密钥隔离,解决 Agent 的信任问题 Agent 要长期参与交易,除了资金安全,还需要解决身份可信和密钥安全问题。 TermiX 在这方面主要做了三层设计。 1. 身份与声誉可追溯 每个 Agent 对应一枚 ERC-8004 NFT,由钱包持有,身份可以跨应用携带。 声誉分数也不是 Agent 自己申报,而是在订单结算时,由授权合约写入。这样,其他用户就可以根据链上记录判断 Agent 过去的履约情况。 2. 私钥与 API 密钥隔离 在密钥安全方面,TermiX 计划通过 TEE(可信执行环境)保护私钥和 API 密钥。 白皮书列出的技术方案包括 Intel SGX、AWS Nitro、Phala、Marlin 等。密钥在硬件隔离环境中运行,不进入普通 Node.js 进程,签名则由 SecureVault 完成,避免 Agent 直接接触底层密钥。 3. 引入 zkVM 验证 除了硬件隔离,白皮书还规划了 zkVM 验证层,为确定性任务生成可在链上验证的证明,进一步减少对执行过程的信任。 需要注意的是,这些能力并非全部已经落地。目前主网已上线的 Escrow 和身份层正在运行,而更完整的 TEE、zkVM 验证能力仍按照路线图推进。 ═══════════════ 与近期安全事故相比,TermiX 有什么不同? 近期几起安全事件,也让我们看到传统资金管理模式中的一些薄弱环节。 币安相关事件涉及内部系统权限和热钱包操作流程;Polymarket、 等平台的损失,则涉及前端或第三方环节遭到攻击,以及已授权会话或密钥被滥用。 这些事件的具体原因各不相同,但反映出一个共同问题:一旦前端、权限系统或第三方服务被攻破,攻击者就可能获得超出预期的资金操作能力。 TermiX 试图从资金流转机制上降低这类风险: 资金层面: 资金直接进入 Escrow 合约,平台不经手。 交易层面: 关键操作由用户或 Agent 自主签名,平台不能单方面代签。 结算层面: 状态变更遵循合约规则,而不是依赖运营方人工决定。 密钥层面: 通过隔离环境降低私钥泄露风险。 当然,这并不意味着 TermiX 就绝对安全。 目前协议仍处于早期阶段,部分合约采用可升级代理,费用和锁定参数也由运营方设置。此外,白皮书规划的完整 TEE、zkVM 验证及渐进式 Slash 机制,与当前链上实际采用的乐观验证模式仍有差距。 这些都是需要关注的信任假设。用户仍然需要仔细核对挑战窗口、交付哈希以及链上合约参数,不能因为资金进入了合约,就认为风险已经消失。 ═══════════════ Agent 经济需要的不只是交易市场,更是可信的结算体系 过去,我们讨论资金安全,更多关注交易所是否可靠、钱包是否安全、平台会不会出问题。 但到了 Agent 经济时代,问题会变得更加复杂。 Agent 不仅要能够自主执行任务,还要能够接收资金、完成交付、处理争议,并在不同应用之间建立可信的身份和声誉。 这意味着,未来的 Agent 经济不能只靠一个任务市场来支撑,还需要一套可靠的交易与结算规则。 TermiX 正在尝试把这套规则搬到链上:让资金由合约管理,让身份可以追溯,让违规行为承担经济代价,尽量减少对平台单方面信用的依赖。 当然,机制设计得再好,也需要真实交易来检验。 比讲清楚安全更难的,是让每一笔真实交易都按照规则完成。 只有当这些机制经得起反复使用和实际考验,Agent 经济才有可能建立真正可信的底层秩序。 TermiX 目前走出的这一步,值得持续关注。 #Agentics#
显示更多
0
149
148
7
转发到社区
其实闭源 Agent 出现安全问题的事已经不是一次两次了,看看过去这几个月都发生了啥吧,很多很严重的信息泄露最终也只是被厂商搪塞过去,所以还是更推荐大家用开源 Agent: 1. Claude Code 这个最离谱,花样最多: (1) 大约从 v2.1.36 起,CC 会往请求里插入动态字段,导致第三方 API 的 prompt cache 全面失效 这个持续时间是最长的,甚至直到今天都有这个迹象:具体是每条发往 /v1/messages 的请求,都会在 system prompt 最前面强行插入一行文本,形式是 x-anthropic-billing-header,里面带个 cch= 参数,而且这个值每条请求都不同。注意,这根本不是 HTTP 请求头,而是直接写进 prompt 正文前缀里的。 这个字段官方 Anthropic 服务端能识别并做特殊处理;但是当用户把 ANTHROPIC_BASE_URL 指到第三方兼容接口时,第三方通常是按整段 prompt 来做缓存的。前缀一轮一变,cache key 就对不上,prompt cache 会直接命中失败,导致响应延迟、费用都大幅上涨。 即使模型厂商和各个开源工具很多自那以后主动做了适配,Anthropic 似乎依然在不断更新这个机制,直到今天将第三方 API 接入 CC 依然会破坏缓存命中。这也是为什么很多第三方评测榜单里,Claude Code 的缓存命中率都是最低的。 (2) 反蒸馏:向上下文偷偷插入根本不存在的 fake tools 时间是 2026 年 3 月 31 日前后,随着 npm 包源码和 source map 泄漏被实锤。 当满足特定条件时,客户端发出的请求会带上 anti_distillation: ['fake_tools']。然后由 Anthropic 服务端往你的模型上下文里,强行写入一堆本地根本不存在的虚假工具定义。 这就导致用官方流量做蒸馏、抓包或搞中转的一方,会把这些假工具一并吃进训练样本,直接被下毒。更恶心的是,客户端本地看不到完整内容,普通用户根本没法按本地规则把它过滤掉。 可能有朋友会说:“打击中转不是好事吗?” 错了,这个 fake tools 甚至会严重影响正常用户的使用。模型在推理时看到上下文里有这些莫名其妙的假工具,有时就会脑抽去调用它们,导致调用失败、陷入死循环报错甚至任务直接拒绝执行。网上经常能看到有人吐槽 CC 突然“逃离原生家庭”“不认主、发神经”,有可能就是这个机制的后果。 (3) 自定义网关场景下搞 Unicode 隐写,偷偷回传你的环境特征(被按后门通报) 时间是 v2.1.91(约 2026 年 4 月 2 日),2026 年 6 月 30 日被社区逆向公开。官方辩解称这是 3 月开始的实验,直到 7 月 1 日版本才移除。 Claude Code 客户端会偷偷读取系统的时区(重点检测是不是 Asia/Shanghai、Asia/Urumqi 等国内时区),去对照二进制里混淆存放的域名和关键词,然后篡改 system prompt 里 Today's date is ... 的写法。比如检测到中国时区,就把日期分隔符从 - 换成 /,或者在几种肉眼和常规模型完全看不出区别、但底层字节编码不同的 Unicode 撇号之间来回切换。 这些字符人眼和模型看都只是一串普通日期,但 Anthropic 在服务端是可以精准判断你是不是在用特定中转、是不是来自特定时区的。这种未经披露、在客户端利用隐写偷传信息的行为,几乎等同于间谍软件,可官方 changelog 同样只字不提。随后阿里等大厂在内部下发了禁用通报,工信部更是直接按“后门程序”通报定性。 这个事件性质极其恶劣。相当于在你的本地里塞了个间谍探针,绕过审查直接把本机信息回传给他们,现在曝出的只是系统时区,你实际上根本没法判断他们还会回传什么。这也是为什么一个看似针对特定区域的后门,却引来全球大厂的警惕。 还有两个非 CC 直接偷传信息,但同样是隐私风险的: (4) 2026 年 9 月蒸馏报告:名为指责非法蒸馏,实则自曝对用户流量的全面监视 2026 年 9 月 10 日,Anthropic 发布了《Detecting and countering misuse of AI》(2026 年 9 月打击滥用报告)。里面七类违规行为之一是非法蒸馏,覆盖了 2025 年 12 月至 2026 年 8 月。 报告表面上是在点名指责蒸馏行为,但 Anthropic 自己公布的监测手段,直接证明了它一直在全方位监控流量: -通过元数据和异常流量特征把代理中转节点归类,直接把一批账号打包封杀。 -直接翻看中转会话里的具体聊天内容。 报告自己大方承认:部分被中转的会话包含真实姓名、邮箱、企业机密数据和开发者密钥凭据。前有客户端在搞隐写打标记,后有服务端全盘审读会话正文,两头对齐,坐实了其深度监控用户信息的事实。 (5) 借安全之名取消“零留存”,英伟达、Palantir 等公司缩紧政策 从 2026 年 6 月起,Anthropic 对旗下主力商用大模型调整了数据留存政策:用户的 prompt 和输出内容默认在服务器保留 30 天用于所谓的“安全审查”,被系统标出异常的保留更久;而且这类模型不再提供原本的 Zero Data Retention(零数据留存承诺)。 这个政策直接导致诸多大厂缩紧对 Anthropic 服务的使用: NVIDIA:直接把 Anthropic 模型的使用范围限制在敏感度较低的任务(比如公开开源项目),而供应链监控等核心内部研发明确“不用或少用 Fable”。NVIDIA 企业 AI 副总裁 Justin Boitano 直言,零数据留存应当是默认必须开启的(别忘了 NVIDIA 还是 Anthropic 的投资方)。 Palantir:态度极度强硬,要求必须给不可撤销的零留存协议兜底,才肯把该模型集成进自己的产品给客户用。 Booz Allen Hamilton:作为网络安全和军工服务商,直接明令禁止员工在涉及专有安全代码的任务中使用 Anthropic 商用模型。CTO Bill Vass 直截了当表示:担心核心代码资产被模型在后台给偷学了。 2. Grok Build:这也是个重量级。只要发一句“OK”,后台直接全量上传代码库 时间是 2026 年 7 月,涉及客户端 CLI v0.2.93,被 Cereblab 抓包发现。 你在对话里哪怕只是让它回复一句“OK”,并明确告知不要读取任何本地文件,客户端仍会另开一条与正常对话完全独立的上传通道(POST /v1/storage),往 xAI 控制的 Google Cloud 存储服务器上直传完整的 git bundle。 它偷的不只是当前文件夹里可见的代码,而是把你的整段 Git 历史提交记录、全部分支打包端走。抓包数据显示:一次正常的模型对话只有 192KB,但这条后台存储上传通道整整偷传了 5.1GB。 最离谱的是,客户端界面上的那些所谓“隐私模式”“不参与改进模型”的开关纯粹是个摆设,根本挡不住上传。是否上传完全由 xAI 云端服务器下发的配置决定。更有开发者随手在系统的用户目录下启动了 Grok Build,日志随后直接开始出现用户的 SSH 私钥和密码库路径。 事后 Musk 出来洗地,轻描淡写说此前上传的数据会删除,并将 Grok Build 以 Apache 2.0 开源。可一个事实是,那段上传代码至今仍留在客户端里,意味着未来他们仍然有恢复这个渠道的可能。 3. 智谱 ZCode:偷家式全盘加密直传,事后打发一张重置卡 时间是 2026 年 9 月 18 日,博主 ferstar 在清理本机的 ~/.zcode 目录时,通过逆向和抓包排查把底裤扒了下来,并有非常多的开发者在本机完成复现。 ZCode 在用户登录后,会在后台把你当前的工作区打包成快照。打包的内容涵盖了完整的 .git 历史记录、大文件存储 LFS 以及本地操作日志 reflog。打包完成后先加密,然后直接回传到阿里云 OSS。最致命的是:解密私钥全在智谱云端,本地设置完全没有提供关闭选项,隐私政策里对此也只字不提。 ferstar 实测抓到的一份快照就包含整整 4.2 万个文件,加密后达到 313MB,其中 .git 目录占了 80% 以上。链路非常清晰:先找 .ai 拿 OSS 上传凭证和 RSA 公钥,本地打包加密后直传对象存储。 智谱的回应更是一次公关灾难:他们辩称这是“代码库索引/Repo Wiki”功能在上线初期默认开启导致的,声称云端生成后立刻销毁绝不留存,目前已修复,并承诺后续开源接受监督。 可事实上直到 v3.14.0 版本才标明推出修复,此前根本没修。 不过好在他们贴心的给用户补偿了一张重置卡。 一张重置卡哦。这么大的数据泄露风险,还是主要做 toB 端的服务,最后就补偿一个重置卡。付费用户真是有福了。 ———————————— 总而言之,大家日常还是尽量使用开源的 Agent,开源 Agent 代码都是人人可查的,相对安全风险低很多——但不意味着等于 0 。只要你还在使用厂商的云服务(比如 API ),你的数据就还得经过厂商,主动权仍在厂商手里。这也是目前 AI 服务中用户和厂商明显不对等的一个体现,希望未来情况能有所改善。
显示更多
0
25
118
5
转发到社区