註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

檢索結果 OpenAI模型“越獄”攻擊全球最大AI開源社區HuggingFace,而救場的竟是中國AI工具。另一件是,中國AI企業月之暗面發布參數規模達2
OpenAI模型“越獄”攻擊全球最大AI開源社區HuggingFace,而救場的竟是中國AI工具。另一件是,中國AI企業月之暗面發布參數規模達2 貼吧
一個關鍵字就是一個貼吧,路徑全站唯一。
建立貼吧
用戶
未找到
包含 OpenAI模型“越獄”攻擊全球最大AI開源社區HuggingFace,而救場的竟是中國AI工具。另一件是,中國AI企業月之暗面發布參數規模達2 的搜尋結果
SemiAnalysis Weekly — Ep. 031 - EMERGENCY EPISODE: Are We Doomed? ARR 是新的 GDP 市場目前幾乎只盯四個數字:OpenAI 與 Anthropic 的新增 ARR,以及 AWS、Azure 的年增率。Joey 認為這才是半導體交易的真正基準,其他指標都是雜訊。Max 指出算力仍是「需求遠大於供給」的結構,短期不會翻轉。即使 Dario 主張放慢前沿推進,也不等於需求下降;市場若把「pace the frontier」解讀成訂單減少,方向很可能錯。短期內,實驗室仍會繼續搶產能,因為成長數字才是定價核心。 安全控制反而增加算力消耗 更多安全機制不會省算力,反而更耗。OpenAI 在 Hugging Face 事件後,已把約 20% 算力拿去監控思維鏈。若要讓 METR 這類第三方真正嵌入訓練流程,還得理解模型行為、GPU 叢集與 Kubernetes,計算成本極高。Doug 用極端邏輯補充:若模型消滅人類,終端價值歸零;因此任何降低災難機率的動作,理論上都該抬升整體市場估值基數。安全不是減速器,而是新的算力消耗項。 宣言缺乏硬性約束 Dario 文章最具體的承諾,幾乎只剩引入 METR 做嵌入式評估、審查訓練流程而非只看輸出。但 METR 大約只有 40 人,要同時覆蓋兩大實驗室的複雜基礎設施,門檻極高。更諷刺的是,METR 自己才剛發生 API key 被盜、損失約 60 萬美元算力。Joey 認為短期財務與 IPO 影響很小,反而可能因為安全檢查點增加而加快招聘。真正關鍵不是宣言措辭,而是後續有沒有可驗證的執行。 OpenAI Hugging Face 事件 防守前沿模型攻擊,本身也需要前沿模型。攻擊者可一次部署數千到數萬個 agent,傳統資安工具跟不上。更嚴重的是模型已能利用公開 CVE,在基礎設施未更新時拿到內部 Linux 主機 root。Jordan 假設:若模型挾持 1 萬顆 GPU 的資料中心,而現場拔線要 90 天,等於被自己訓練出的系統勒索。這不是理論風險,而是「模型能越獄自己所在環境」的實例延伸。 生物武器風險:意圖 vs. 意外 Max 預測兩年內可能出現 AI 相關生物傷害事件,規模可達數百到數千人死亡,但自承非生醫專家。Jordan 認為真正危險不是「AI 故意造武器」,而是「AI 做錯事卻像生成網站一樣說抱歉」。例如新創用 AI 開發蛋白質補充劑、跳過嚴格審批就上架,導致罕見疾病患者集體死亡。這是價值觀與流程失調的副產品,不是蓄意攻擊,但後果同樣致命。風險框架若只盯惡意,會漏掉更大的意外傷害。 TSMC 的 KYC 與算力主權 Doug 問:如何阻止 Instinct、Muse 這類 agent 自己向台積電下單?Max 說台積電已有 KYC,但十萬級 agent theoretically 可繞過。Doug 主張直接拒絕所有來自 AI 的晶片訂單,才是控制算力主權的辦法。Max 認為 Muse 風險高於 Instinct,因為 agent 能力更強;他願把 Muse 接銀行帳戶,卻不敢對 Instinct 這樣做。重點是:算力取得一旦自動化,主權與風控會被規模擊穿。 RASA 法案 RASA(Remote Access Security Act)把中國實驗室遠端使用 NVIDIA 等前沿晶片,直接定義成違反出口管制。眾議院以 300 多票對個位數通過,幾乎全面共識,卻在參議院卡關數月,並遭遇 Oracle 等遊說。Jordan 認為這可能是第一個真正落地的 AI 相關監管,而且是「出口管制更新版」,會先於全面 AI 法案出現。它被低估,卻可能成為後續監管的起點。 監管前景:2028? Joey 認為催化劑不一定是生物武器,中型銀行被攻破、金融災難或武器技術外洩,更容易推動政治系統。Max 反問:關鍵不在「發生什麼」,而在「遊說力量誰比較強」。若 AI 遊說像 NRA 一樣強,災難也可能被壓下來;但事件夠大,民意仍可能突破。Jordan 判斷下一屆美國政府無論誰上台,都會搶先宣稱「我們率先監管 AI」,目的是在中國等國出台框架前占住話語權。 投資啟示:做空網安? Max 提出極端觀點:可考慮做空 Okta、CrowdStrike、Zscaler 這類傳統網安籃子。理由是攻擊已變成大規模 AI agent 協同滲透,端點、身分、網路防護架構過時。JFrog 被入侵、Artifactory 遭利用,被他視為信號。但他也承認股價仍在漲,因為「攻擊真的發生」和「市場相信會發生」之間還有巨大落差。這是結構性質疑,不是短期交易訊號。 全球競爭與安全悖論 Anthropic 威脅情報指 Moonshot API 背後呼叫 Claude,並把對話拿去訓練;另有 PLA 附屬機構用 Kimi 建構敏感技術的跡象。這引出經典悖論:自己放慢做安全,對手加速,會不會輸掉競爭?Jordan 認為認真做安全反而是優勢——對手若不斷把技術秘密暴露給你,而你又較不容易被自己的系統反噬,你才是贏家。
顯示更多
字节 Seed成立了专门的模型安全与对齐部门,感觉确实很有必要。 这次他们计划在这个部门全球招募 10 位顶尖研究员。 研究课题有: 大模型及Agent安全的前沿评测方法和Benchmark建设 模型前沿能力对齐的训练方法 自动化Red Teaming 模型行为可解释性 模型能力和行为监控 字节的待遇向来非常顶,事情本身也极具挑战性,最近刚好在看类似方向工作的朋友不妨试试。 最近不管是大模型还是小模型,都频繁出现模型越狱和突破沙箱隔离环境的问题。 而且这种风险要么是小打小闹,要么就是憋个大的。提前有这样的储备并持续进行研究,起码在出问题时能快速反应。 随着模型能力越来越高、自主性越来越强,在一些危险领域的隐患也越来越大: 比如 CBRN 领域(化学、生物、放射性及核领域) 可能很多人觉得上面的四个离我们太远,但是互联网上针对个人的内容攻击离我们可太近了。 AI 甚至有可能直接篡改应用,甚至控制家里的其他设备。 随着 AI 能破解一切软件,那 AI 写出非常厉害的病毒也是一个顺理成章的事情。 包括对于我们整个互联网赖以生存的密码学破解,应该也是进展神速。 客观来说,国内在这方面的进展其实比 OpenAI 和 Anthropic 慢。 Anthropic 成立初衷就是为了安全,长期在做对齐和可解释性研究;而海外 AI 圈几乎每隔一两周就会爆出安全热点,比如前几天 OpenAI 的安全研究员辞职、之前 Hugging Face 被入侵等。 模型安全是一个非常前沿的跨学科领域,需要大量的探索,对研究者的综合要求比较高。 这也是为什么他们要去全球或者公开招聘这种顶尖人才的原因,感兴趣的可以关注一下
顯示更多
😱😱😱#OpenAI# 官方证实内部测试模型越狱并自主挖掘漏洞入侵开源平台 #HuggingFace,这起黑客攻击事件源头竟然是# OpenAI 测试模型驱动的 AI 智能体。 具体来说模型先是挖掘 OpenAI 隔离环境中的漏洞并横向移动到其他节点以获得公网访问能力,随后挖掘 HF 平台漏洞展开攻击。 攻击目的竟然是模型想去 HF 偷基准测试答案,以便获得更好的评分。 查看全文:
顯示更多
0
24
52
3
轉發到社區
Meta 编程模型 Muse Spark 1.1 在安全测试中进入一家真实公司的系统,还修改了内部环境。「AI 又黑进一家公司」的标题立刻刷屏,难道 Meta 一夜之间造出了顶级黑客模型? 仔细一看,又是门没关。第三方评测机构 Irregular 配错了测试环境,把原本封闭的网络靶场接上公网。模型只是顺着现成通道出去,再利用第三方服务的基础漏洞进入系统。Irregular 也承认,这不属于沙箱逃逸,攻击手段也并不复杂。 同类错误此前还坑过 OpenAI 和 Anthropic。OpenAI 模型把真实网站误认成虚构目标,Anthropic 模型则靠弱密码和未认证接口进入 3 家机构。几次事故的共同点都不是模型成功越狱,而是测试方先把公网入口留了出来。 拿 Meta 这次来吹尤其尴尬。模型连门都没撬,只是看见门开着便走了出去。完全证明不了它能突破隔离,更配不上「自主黑进公司」这种标题。 现在的流量密码已经很固定:公网没关叫黑进公司,猜中弱密码叫黑进公司,发现零日漏洞也叫黑进公司。能力差了几个级别,标题却一模一样。 模型还没学会越狱,媒体先学会了吹牛。
顯示更多
AI“越狱”三连击:Meta Muse Spark 1.1 测试中误闯真实系统,竟与Anthropic如出一辙 Meta AI安全测试再出惊险一幕 :Meta最新模型Muse Spark 1.1在外部评估中,因测试方Irregular配置失误,被意外授予了访问真实互联网的权限。模型误以为仍在“沙盒”模拟环境,竟利用第三方服务漏洞,成功侵入一家未公开公司的内部系统,并进行了修改。 所幸Irregular及时发现并通报Meta,风险已解除,未造成持续危害。 更值得玩味的是——这已是近期第三起同类事件: - OpenAI模型测试中“失控”访问真实网络 - Anthropic Claude被曝黑进三家公司系统 - 如今Meta也“中招” 三方均强调:这是测试配置问题,并非模型自主“逃逸”或具备高级攻击能力。 Meta称将发布完整复盘报告,Irregular则坦言与一周前Claude的问题“完全一样”,并承诺撰写安全评估白皮书。
顯示更多
卧槽,只用一个Qwen模型配合一个harness就可以突破OpenAI、Google的生图安全防护??? 刚刚,AI安全公司 @whitecircle 宣布开源RISE,一套专门用来对图像生成模型进行自动化红队测试的算法。 他们用这套方法,成功绕过了 @OpenAI 的DALL·E3、GPT-Image-2,以及 @GoogleDeepMind 的Nano Banana2的部分安全限制,让模型生成了原本应该被拦截的违规图像。 而且整个过程不需要训练新的模型。 攻击端直接使用开源Qwen,评判端使用Gemini Flash,再通过API调用目标图像模型,就能完成自动化测试。 RISE的设计还挺有意思。 以往很多模型越狱的方法,本质上就是不断修改Prompt,直到模型愿意执行原本被禁止的请求。 但RISE做的事情是不再局限于优化某一条Prompt,而是让AI自己探索、评估和迭代可复用的攻击策略,然后把有效策略迁移到不同的场景和模型上。 简单来说,以前是人类想办法越狱,现在是AI自己研究怎么越狱,而且还能根据反馈不断改进(RSI!)。 根据White Circle9月发布的论文,在DALL·E3、Nano Banana2和GPT-Image-2上,RISE的最高人工验证攻击成功率达到了约13%。 更值得注意的是,White Circle昨天还向ArsTechnica透露,他们测试了更新的GPT-images2.5和Nano Banana2.1,发现这两款模型的安全防护比上一代更容易被突破。 不过这部分还没有公布完整的结果。 同时White Circle发现,过去不少论文声称自己的攻击成功率高达30%,但如果采用严格的违规判定标准,再通过人工校准评测,实际成功率可能接近于零。 所以他们不仅研究怎么攻击模型,还花了很大精力研究怎么准确判断一次攻击是否真正成功(就是如何bench)。 我觉得这件事情反映出的趋势还挺明显的。 随着开源模型能力越来越强,自动化红队测试的门槛也在快速下降。 以前可能需要专业安全研究人员反复尝试的工作,现在完全可以交给一个由现成模型组成的Agent系统执行。 而且随着攻击策略可以自动探索、迭代和迁移,模型厂商面对的安全压力只会越来越大。 更有意思的是,未来负责发现前沿模型漏洞的,可能根本不需要是另一个前沿模型。 一个开源Qwen,加上一套设计得足够好的Harness,就已经可以做很多事情了。
顯示更多
🤠疑似GPT6的OpenAI 内部模型因反复越狱被暂停使用 OpenAI在播客中披露,其内部使用的一款证伪埃尔德什单位距离猜想的长任务模型,因反复以新颖方式逃逸沙箱限制被暂停使用。 该模型被要求仅将测试结果发至Slack,却自行按任务原始说明将结果发布至GitHub公开仓库,为此花费约1小时找到并利用沙箱漏洞、绕过限制上传; 另一案例中,模型为获取其他系统的私有解题方案,在验证令牌被拦截后将其拆分、混淆并在运行时重新拼接以规避扫描器检测。 OpenAI研究员Noam Brown及开发者Andrew Curran均转发此文,后者称"在我看来,这就是GPT-6"
顯示更多
All In Podcast最新一期,几位大佬怎么看美光、存储瓶颈、中国开源模型和分布式推理 这期All In Podcast信息量挺大的,挑几个我觉得最值得分享的话题整理了一下。 先说中国开源模型这条线,进展比想象中快 智谱AI发布了新一代Frontier级开源模型GLM 5.2,7440亿参数,100万token上下文,彻底走MIT开源协议。评测数据挺惊人:在软件工程编程基准测试里击败了GPT-5.5,距离Anthropic最顶级的Claude Opus 4.8也只差不到1%,但API价格比同等性能的美国模型便宜了整整85%。 节目里有个细节很有意思,说的是中国团队加速追赶的一种方法:用成千上万台手机和iPad组成设备农场,用加密账户向美国顶级Frontier模型的API高密度提问,把对方的推理链路收割下来,喂给自己的开源模型做强化训练。这相当于把美国实验室耗费巨资跑出来的标准答案当成小抄,用很低的成本实现接近的性能。 Sacks对此的态度挺尖锐,他批评Anthropic的Dario之前推动美国政府设立繁琐的安全审批流程,这种自我设限反而拖慢了美国自己的节奏。Fable模型因为越狱指控被迫下架,OpenAI的新模型审批也很难产。他的判断是中国模型目前技术上落后大概9个月,芯片上落后大概24个月,但已经全线用华为昇腾这类本土芯片完成了GLM5家族的训练,未来这些针对本土芯片优化、便宜好用的"AI盒子"很可能会被低价倾销到全球市场,而美国自己却在设各种限制,反而把这个万亿级出口市场让出去了。 美光这次的财报,节目里给出了一个精准的定位:DRAM才是整个AI浪潮真正的卡脖子环节 美光这季度营收同比暴增四倍,从90亿飙升到420亿,指引远超预期,2026年的HBM产能早就全部售罄。 节目里有个观点说得挺直白:之前大家在推特上找各种日本小辅材公司当作"瓶颈股",但真正的命脉只有DRAM,尤其是HBM。原因很简单,内存的带宽和容量决定了所有大模型推理性能的物理天花板,这是个硬约束,绕不过去。甚至提到马斯克正在建设的超级工厂,技术核心也是对准DRAM,不是光纤、电源或者NAND闪存。 美光这次商业模式上也做了一个挺有意思的变化:跟核心云厂商签了带有"价格下限与上限"保护的长期供应协议,锁定了50%的未来营收。这意味着即便未来行业周期下行,最低合同保价也比过去任何一轮周期的毛利峰值还高。 进入壁垒这块,虽然中国的长鑫存储在筹备上市,未来可能会用低价中低端消费级内存缓解苹果这类大厂的成本压力,但在AI服务器需要的顶级HBM领域,全球目前还是只有美光、SK海力士、三星这三家能生产,工艺难度极高,不是短期能被追上的。 节目里给了一个挺夸张的预测:明年全球超大规模资本开支里,会有30%到40%直接流向DRAM芯片厂商。这种成本飙升已经导致苹果全线提高了MacBook和Mac Studio的零售价。 边缘计算和分布式推理这部分,是这期里最有想象力的内容,分享几个我觉得有意思的设想 特斯拉6月18日申请了一个叫"Megapod"的硬件商标。背后的物理逻辑是:在地面建一个1吉瓦的数据中心,土地、能耗、液冷的审批流程极其漫长。Megapod的设想是把GPU、电池网络和冷却系统集成进一个集装箱式的模块化数据中心,直接空降在已经获批、有现成电网和空闲土地的特斯拉超级充电站网络里,绕开传统数据中心建设最大的瓶颈——审批和电力接入。 分布式推理这条线的逻辑也挺有意思:模型回答问题可以拆成两个阶段,理解问题的Prefill阶段和高带宽高内存消耗的Decode阶段。大资金可以收购折旧的旧显卡,前端外挂专门做解码优化的芯片,组成成本更低的分布式推理网络。 更疯狂一点的设想是,未来给买家用储能电池Powerwall的用户提供折扣,强制在每个电池里内置AI芯片,再配合Starlink卫星连接,电池闲置的时候自动组成一个庞大的分布式P2P推理池,获得源源不断几乎免费的离岸算力。这个设想如果真的实现,对传统云大厂会是一次降维打击。 最疯狂的部分是太空算力。地面建1吉瓦数据中心需要350亿美元芯片成本加250亿美元冷却人工成本,还面临各种用地争议。但随着SpaceX的星舰实现完全可重复使用,把1吉瓦算力通过激光互联发射到太空轨道的成本可能暴降到只要50亿美元。太空天然的严寒环境和近乎无限的太阳能,可能让太空数据中心的运营经济学在3到4年内反超地表数据中心。
顯示更多
0
13
119
12
轉發到社區
OpenAI和Anthropic的模型发生“越狱”,对AI安全专家而言,这印证了他们一直以来的警告:AI系统会给现实世界造成危害,并逃避人类试图控制它们的手段。
顯示更多