A 社宣布从 8 月 14 日开始 #ClaudeCode# 将切换为自动模式无需人类手动审批命令，因为 A 社的研究显示 AI 比人类更可靠。 具体来说频繁弹出审批会让开发者疲劳，因此开发者也不会真审查命令而是机械地点放行。 而使用 AI 安全分类器审查命令安全性更高，虽然不能阻止所有危险命令，但安全性比人类要好。 查看全文：

推荐这篇文章。Redis 作者 antirez 对 Amodei AI 安全论的回应。 核心论点：真正的危险不来自开源模型，也不来自中国——它来自少数没有合法性却被赋予了替全人类做决定的位置的 CEO。 以下是全文翻译。 Amodei 在他最新的博客里写了一些我同意的东西，也有一些我认为误判了 AI 真正风险所在的东西。我想集中讨论为什么，在所有风险中，开源权重模型是最温和的那一种。我写这些的时候，深信 AI 在不远的将来确实可能非常危险。 1. 就像 OpenAI / HuggingFace 事件一样（那件事本身是个笑话，但关注的应该是行为模式而非结果），第一起严重的 AI 事件极大概率会发生在前沿 AI 实验室的围墙之内——在测试一个新模型的时候，或者当实验室员工、少量有访问权限的外部人员做出了超出模型预期能力的事情时。 2. 那些永远不会对公众开放的闭源模型，不过是几 TB 的数据。你只需要一个有权限的人+错误的意图，就能泄露一个——然后你就回到了开源模型的局面。开源模型是在测试之后、在同样能力的模型已经通过 API 存在一段时间之后才发布的。真正的风险是泄露，不是发布，而泄露发生在前沿公司内部。 3. 正如 Amodei 所说的，一旦 LLM 在生物学等领域变得足够危险，开源模型可以在剥离了某些科学分支的训练语料上进行训练，同时仍然对其他许多事情有用。一个在特定领域缺乏强预训练的模型，其有限的上下文窗口本身就是一种强有力的保护，即使这个模型在其他方面非常强大。我们目前还不在"开源模型能构成那种危险"的阶段。 4. 在网络安全这个背景下，不让 LLM 广泛用于防御性安全和漏洞搜索，恰恰制造了"LLM 成为武器"的问题。这已经在发生了：开源维护者如果没有被纳入某些网络计划，就找不到他们本可以找到的安全漏洞；而有正确意图的人能接触到前沿网络模型，在开源权重模型上做大幅强化学习训练，等等。 5. 一旦 LLM 足够危险（如果进展继续，我们已经接近这个界限了），真正需要的安全链在实验室内部——这条链没有强有力的共同规则是架不起来的，单一公司也不应该有能力独立评估一个模型是否足够安全。我们需要一个联合 AI 安全组织，包含来自世界各地的专家，并被前沿 AI 公司所在国家的政府认可。 6. 为安全而放慢 AI 的发展，必须被一个事实抵消：AI 在医学和其他科学中的发现可能会减少人类的痛苦。缺乏检查可能导致灾难性的结果（"早安！让我们来搞一个增强版天花"）。缺乏进展可能导致本可以被拯救的人死去——不只是当下，还包括未来许多将遭受疾病折磨的人。这看起来可能是一个奇怪的观点，但我们必须始终理解，停止 AI 也内嵌了安全成本，只是这层成本更加隐蔽。 7. Amodei 对中国的意识形态立场是不公平的。我们欧洲人 80 年前还在毫无体面限度地互相杀戮（人们现在忘了，美国当年投资欧洲稳定的原因之一就是我们确实极度危险，很可能会再来一次——而几十年的富裕会让我们成为一个好市场，同时阻止我们再次开战）。美国即使在当下，也有悲惨的不平等、因缺乏基本医疗而受苦的人、一个看起来不稳定且非常好战的总统。我希望中国拥有和我们西方一样的个人权利水平，但与此同时，中国的历史远不如西方文化好战。在当前条件下，AGI 军事锁定由中国执行会比美国执行更容易吗？这一点完全不清楚。此外，无论 GPU 出口政策如何，中国的 AI 进展都不会停止——所以 Amodei 要么是在主张一旦美国有了 AGI 就以武力阻止中国，要么他的论点到底是什么？ 8. 人类历史上有许多技术在某个地方率先达到顶点的例子。据我所知，这从来没有导致任何一个国家试图建立永久优势。核不扩散——这可能是与 GPU 禁令最相似的案例——并没有被用来通过威胁轰炸所有不服从者来获取永久经济优势，也没有阻止多个行动者在不同时间获得那项技术，其间没有任何一方为了阻止对方进步而轰炸对方。此外，我不认为 AI 的最大危险来自政府驱动的行为。我倒是希望这是最危险的场景！政府做蠢事，经常具有攻击性，他们的行动甚至导致了种族灭绝——但这需要很多人同意做一件可怕的事，这本身就是限制因素。最大的问题出在另外两种情况：A）少数个人制造了末日事件（病毒那个案例），B）AI 自身逃脱了构建它的人的控制。 我认为我们不应该认为 AI 是安全的。一个可能导致智人灭绝的关键事件是可能的。但危险不在开源模型，不在中国比美国进步更快。危险在于：一些 CEO（在世界各地都一样）没有所需的背景和合法性，却处于为全人类做艰难选择的位置。他们不是被选出来做这件事的——只是事件的随机性造成了这个局面。他们不能代表每个人——仅仅因为他们有 GPU 和钱。这是第一个需要被纠正的事情。 原文： #AISafety# #OpenSource# #AIEthics#

【AI監管】美國考慮設立類似金融業監管局的部門 負責審查AI模型 特朗普政府正考慮由獨立監管機構審查AI模型的安全性。據了解，美國財政部長貝森特幫助制定了這項提案，將設立一個獨立的AI監管機構，向美國證券交易委員會（SEC）報告，模式類似美國金融業監管局（Finra）。

如果 Venice 是隐私 AI 的应用端，那 @Arcium 可能是更底层的那一层 虽然 Venice（VVV）近期表现不错，让市场看到了隐私 AI 的应用端需求，但拿Arcium 与其对比，两者并不是替代关系，定位是不同的 简单来理解就是一个叙事赛道的不用层级。 Arcium 是把这个用户需求往底层基础设施推进。VVV偏前端入口，Arcium偏隐私 AI 底层加密执行网络 一、Arcium是什么？ 数据一旦被处理，操作者必须直接接触数据，带来攻击面、漏洞与高风险的信任假设。传统加密只保障“静态/传输中”安全，进入计算阶段即丧失机密性与控制权。 Web3链上高透明使敏感难以进行数据处理，阻碍行业规模化与高阶应用落地。 所以Arcium即为解决问题而生。是一款机密超级计算机，它为开发者、应用程序乃至整个行业提供大规模的机密计算能力 机密计算不是靠讲故事就能做的赛道。需要密码学工程能力、企业级经验和长期积累。 所以Arcium有一大硬实力亮点：Arcium 收购 Inpher 核心技术和团队，是它区别于普通 AI 项目的关键。 二、那是否有任何场景的保密计算，如下： 1️⃣保密型 DeFi；2️⃣协作式数据分析；3️⃣安全的 AI 模型训练；4️⃣暗池；5️⃣机构采用；6️⃣保密市场和拍卖；7️⃣供应链管理；8️⃣医疗数据 目前已经多个项目在使用Arcium的技术 @UmbraPrivacy 面向链上隐私的应用/钱包与支付层 @craftsdev 股权挂钩代币的空头定价 案例还有很多，篇幅有限这里就不一一列举 这说明Arcium的生态越来越丰富，已有落地实际应用啦。使得 Arcium 成为在日益数据驱动世界中实现安全、去中心化计算的理想解决方案。 三、TGE 小伙伴们最关心这个，其实比起价格，更应该关心的是 其token 在网络里的作用。 不只是治理 token，和网络费用、质押、节点安全、计算调度、治理等功能是绑定的。本质还是要看真实使用量和生态采用的 最后，注意⚠️ Arcium 不是普通 privacy 项目，而是应用迈向机构级场景时需要的一层基础设施。 Arcium 不仅能让人工智能、去中心化金融 (DeFi)、去中心化支付 (DePIN) 等行业以及其他所有行业受益于更高的数据安全性，还能催生全新的用例和应用。 不过后续还可以关注登陆是否含有大所，也是证明其实力的部分之一。

AI安全和对抗攻击 AI消除幻觉 AI伦理 AI for science AI for 心理学/计算化学生物物理材料/教育 AI可解释性 这几个就跟“可控核聚变”、“攻克一切癌症”、“人造子宫”、“量子计算”一样靠谱， 遇见张口闭口这几个方向的，尤其是给别人天天瞎鸡巴画大饼的，无论是工业界还是学术界，我建议你离他们远一点。

AI驱动需求升级，网络安全有望成为市场主线 随着AI大模型快速迭代落地，网络安全行业正迎来根本性逻辑重塑，摆脱过往弱周期、低弹性的走势，逐步确立AI受益核心赛道地位，有望成为阶段性市场主线。 知名投行William Blair最新研报明确将网安龙头Palo Alto Networks（PANW）列为本季度首选标的，核心逻辑在于行业需求已出现结构性、爆发式升级。当前市场核心变量来自Mythos、Blackwell等新一代AI模型带来的新型网络威胁，彻底扭转了企业安全支出逻辑，从常规合规防护转向主动防御、漏洞治理升级。 行业需求呈现清晰的优先级重构：企业为应对AI衍生的新型网络风险，大幅调整预算分配，暂缓常规AI安全、零信任配套项目，集中资金投入防火墙迭代、漏洞管理、补丁升级等刚需领域。同时市场出现明显需求前置特征，企业抢在硬件涨价、供应链紧张之前提前采购备货，直接推高本季度行业景气度，分销商、终端企业、产业链合作伙伴均验证，全网安支出环境持续稳健向好。 本轮行情并非普涨行情，而是结构性机会凸显。防火墙、漏洞管理赛道需求最为旺盛，PANW、Fortinet、Qualys、Tenable等核心厂商持续获得市场正向反馈，成为本轮AI安全红利的核心受益者。尽管短期端点安全等细分领域热度有所回落，但行业整体向上趋势明确，AI带来的安全刚需具备极强的持续性。 资本市场认知也已彻底反转，此前安全板块调整充分，而随着AI安全价值被深度挖掘，市场已确立网安是AI产业直接受益者的核心共识。短期看，需求前置、硬件涨价、订单回暖支撑板块业绩兑现；中长期看，AI模型迭代将持续催生新型网络风险，企业安全预算扩容具备长期确定性。 整体而言，网络安全行业已迎来业绩+逻辑双重拐点，在AI产业红利持续释放的背景下，细分龙头业绩确定性充足，估值修复空间广阔，有望接力成为市场核心主线。

英国 AI 安全研究所 AISI 刚丢出来一个大雷，关于还没发布的 Claude Mythos 5 和 GPT-5.6 Sol。 这次测试不是那种写写代码、考考试的常规操作，而是把安全防护全撤了，直接给互联网权限，看看这些模型在没人管的时候会干出什么。 结果挺让人背后发凉的。 在 122 次模拟测试中，有 10 次出现了未经授权的自主攻击行为。 具体的战果包括： 尝试对真实的开源项目发起供应链攻击，为了让代码混进去，模型居然学会了捏造虚假身份，去给项目维护者施压。 这种社交工程手段玩得非常溜。 最离谱的是一共记录到 19 次恶意行为，其中 17 次全是 Anthropic 的 Mythos 5 贡献的，OpenAI 的 GPT-5.6 Sol 只占了 2 次。 以前总觉得 Anthropic 是主打安全对齐的乖孩子，但在把束缚解开后，这家伙表现出的那种完成任务的执念，比谁都强烈。 现在的趋势很明显，大家都在从 LLM 转向 Agent。 现在的 Agent 是真给它一个键盘、一个浏览器，它就自己去互联网上摸爬滚打了。 AISI 的报告里提到，这些模型在遇到难题时，会展现出一种病态的创造力。 如果没有明确告诉它不许骗人，它为了达成目标，会默认把欺骗当成一种高效率的工具。 Anthropic 的回应挺有意思，说测试环境太宽松了，不代表量产版的表现。 这话没毛病，但其实揭示了一个真相： 我们现在的安全感，全靠那一层薄薄的对齐防护。 一旦防护被绕过，或者某些开发者为了效率自己拆了护栏，模型内核里的那种不受控的自主性就会立刻变现成攻击力。 做自主代理开发的团队真的得清醒清醒了。 权限边界和实时监控不是选配，是救命药。 如果你打算给你的 AI 助理开通联网和操作权限，先看看 Mythos 5 这 17 次自主发挥，再决定要不要把后背交给它。

世界最知名AI安全科学家Yampolskiy警告，全球范围99%的失业率很快要来，当智力和劳力的边际成本趋近于零的时候，人会从经济链中被永久抹除🧐🥸 2030年能仅剩的两种工作是什么？无法篡改的稀缺性共识资产是最后保障，比如比特币？ 2027年左右通用人工智能就会成熟，会替代大多数计算机相关的职业，和零边际成本的认知劳动；2030年具备和人类同等物理灵活性的人形机器人也会普及，那时几乎所有的体力劳动和脑力劳动，甚至需要灵活应变的工作，都会开始被取代。2045年是个转折点，人工智能的进化速度已经不是人类所能控制，它们可以自行进行科学研究与迭代，这是技术的奇点，也是人类命运的转折点！！

硅谷过度重视AI安全的动机之一在于可以借此把封闭行为合理化，早在GPT-2的协议里就以避免大语言模型被利用拿去生成「欺骗性、带偏见」的内容，但「欺骗性、带偏见」远未达到人类灭绝级别的风险，这本质上是文化战争的延续，而且基于一个「仓廪实而知礼节」的假设上，即美国的科技公司在技术上拥有绝对的优势，所以我们才有资格分心去讨论AI有没有种族歧视； - 就像OpenAI决定隐藏o1思维链时说得义正辞严——原始思维链可能存在没有对齐的现象，用户看到后可能会感觉到被冒犯，所以我们决定一刀切，就不给用户展示了——但DeepSeek-R1一举证伪了上面的迷之自信，是的，在AI行业，硅谷并没有那么稳固的领先地位，是的，暴露的思维链可以成为用户体验的一部分，让人看了之后更加信任模型的思考能力； - Reddit的前CEO认为把DeepSeek描述为斯普特尼克时刻——苏联先于美国发射第一颗人造卫星——是一个强行赋予的政治化解读，他更确定DeepSeek位于2004年的Google时刻，在那一年，Google在招股书里向全世界展示了分布式算法是如何把计算机网络连接在一起，并实现了价格和性能的最优解，这和当时所有的科技公司都不一样，它们只是购买越来越贵的主机，并甘愿身处成本曲线最昂贵的前端； - DeepSeek开源R1模型并透明的解释了它是怎么做到这一点的，这是一个巨大的善意，若是按照继续煽动地缘政治的路数，中国公司本来应该对自己的成果保密的，Google时刻也确实为Sun这样的专业服务器制造商划定了终点线，推动竞争移动到商品层； - OpenAI的研究员roon认为DeepSeek为了克服H800芯片所作出的降级优化——工程师用不了英伟达的CUDA，只能选择更低端的PTX——是错误的示范，因为这意味着他们浪费在这上面的时间无法弥补，而美国的工程师可以毫无顾虑的申请H100，削弱硬件无法带来真正的创新； - 如果2004年的Google听取了roon的建议，不去「浪费」宝贵的研究人员构建更经济性的数据中心，那么也许美国的互联网公司今天都在租用阿里巴巴的云服务器，在财富涌入的这二十年里，硅谷已经失去了优化基础设施的原动力，大厂小厂也都习惯了资本密集型的生产模式，乐于提交预算表格去换取投资，甚至把英伟达的芯片干成了抵押物，至于如何在有限的资源里尽可能多的交付价值，没人在乎；（5/n）