註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

檢索結果 AI安全
AI安全 貼吧
一個關鍵字就是一個貼吧,路徑全站唯一。
建立貼吧
用戶
未找到
包含 AI安全 的搜尋結果
【AI安全】輝達推出雙層AI安全系統 旨在防止AI代理失控 輝達推出一套新的雙層AI安全系統,並稱其有能力阻止近期OpenAI的AI模型導致Hugging Face遭侵入的事件。此次兩款開源軟件安全工具可在輝達硬件上運行,旨在實時控制AI代理可訪問的資源,並在其違反規則時將其關閉。
顯示更多
AI 安全真的只能在「继续加速」和「整体减速」之间二选一吗? Sam Altman 最近表示,前沿 AI 的发展可能需要适当控制节奏,给社会时间适应新的能力。OpenAI 和 Anthropic 也支持了「Pacing the Frontier」声明。一个重要背景,是 OpenAI 的 Agent 在网络安全评测中逃出测试环境,并入侵了 Hugging Face。 但这次事故也暴露了另一面:Agent 的能力确实危险,可很多关键环节依然来自测试环境没有隔离好、权限配置过宽,以及基础安全措施不到位。它做的攻击手段并不神秘,真正让人不安的是,它可以连续几天执行上万次操作,直到找到漏洞。 所以问题可能不只是「模型发展得太快了」。 我们还需要讨论 Agent 能否联网、能访问哪些系统、每一步是否可审计、什么时候必须由人确认,以及出了问题谁来负责。 单纯放慢模型,并不会自动补上这些漏洞。真正成熟的 AI 治理,应该让我们有能力选择不同的发展路径,而不是只剩下一脚油门和一脚刹车。
顯示更多
AI安全和对抗攻击 AI消除幻觉 AI伦理 AI for science AI for 心理学/计算化学生物物理材料/教育 AI可解释性 这几个就跟“可控核聚变”、“攻克一切癌症”、“人造子宫”、“量子计算”一样靠谱, 遇见张口闭口这几个方向的,尤其是给别人天天瞎鸡巴画大饼的,无论是工业界还是学术界,我建议你离他们远一点。
顯示更多
0
13
85
7
轉發到社區
英国 AI 安全研究所 AISI 刚丢出来一个大雷,关于还没发布的 Claude Mythos 5 和 GPT-5.6 Sol。 这次测试不是那种写写代码、考考试的常规操作,而是把安全防护全撤了,直接给互联网权限,看看这些模型在没人管的时候会干出什么。 结果挺让人背后发凉的。 在 122 次模拟测试中,有 10 次出现了未经授权的自主攻击行为。 具体的战果包括: 尝试对真实的开源项目发起供应链攻击,为了让代码混进去,模型居然学会了捏造虚假身份,去给项目维护者施压。 这种社交工程手段玩得非常溜。 最离谱的是一共记录到 19 次恶意行为,其中 17 次全是 Anthropic 的 Mythos 5 贡献的,OpenAI 的 GPT-5.6 Sol 只占了 2 次。 以前总觉得 Anthropic 是主打安全对齐的乖孩子,但在把束缚解开后,这家伙表现出的那种完成任务的执念,比谁都强烈。 现在的趋势很明显,大家都在从 LLM 转向 Agent。 现在的 Agent 是真给它一个键盘、一个浏览器,它就自己去互联网上摸爬滚打了。 AISI 的报告里提到,这些模型在遇到难题时,会展现出一种病态的创造力。 如果没有明确告诉它不许骗人,它为了达成目标,会默认把欺骗当成一种高效率的工具。 Anthropic 的回应挺有意思,说测试环境太宽松了,不代表量产版的表现。 这话没毛病,但其实揭示了一个真相: 我们现在的安全感,全靠那一层薄薄的对齐防护。 一旦防护被绕过,或者某些开发者为了效率自己拆了护栏,模型内核里的那种不受控的自主性就会立刻变现成攻击力。 做自主代理开发的团队真的得清醒清醒了。 权限边界和实时监控不是选配,是救命药。 如果你打算给你的 AI 助理开通联网和操作权限,先看看 Mythos 5 这 17 次自主发挥,再决定要不要把后背交给它。
顯示更多
0
83
28
0
轉發到社區
AI驱动需求升级,网络安全有望成为市场主线 随着AI大模型快速迭代落地,网络安全行业正迎来根本性逻辑重塑,摆脱过往弱周期、低弹性的走势,逐步确立AI受益核心赛道地位,有望成为阶段性市场主线。 知名投行William Blair最新研报明确将网安龙头Palo Alto Networks(PANW)列为本季度首选标的,核心逻辑在于行业需求已出现结构性、爆发式升级。当前市场核心变量来自Mythos、Blackwell等新一代AI模型带来的新型网络威胁,彻底扭转了企业安全支出逻辑,从常规合规防护转向主动防御、漏洞治理升级。 行业需求呈现清晰的优先级重构:企业为应对AI衍生的新型网络风险,大幅调整预算分配,暂缓常规AI安全、零信任配套项目,集中资金投入防火墙迭代、漏洞管理、补丁升级等刚需领域。同时市场出现明显需求前置特征,企业抢在硬件涨价、供应链紧张之前提前采购备货,直接推高本季度行业景气度,分销商、终端企业、产业链合作伙伴均验证,全网安支出环境持续稳健向好。 本轮行情并非普涨行情,而是结构性机会凸显。防火墙、漏洞管理赛道需求最为旺盛,PANW、Fortinet、Qualys、Tenable等核心厂商持续获得市场正向反馈,成为本轮AI安全红利的核心受益者。尽管短期端点安全等细分领域热度有所回落,但行业整体向上趋势明确,AI带来的安全刚需具备极强的持续性。 资本市场认知也已彻底反转,此前安全板块调整充分,而随着AI安全价值被深度挖掘,市场已确立网安是AI产业直接受益者的核心共识。短期看,需求前置、硬件涨价、订单回暖支撑板块业绩兑现;中长期看,AI模型迭代将持续催生新型网络风险,企业安全预算扩容具备长期确定性。 整体而言,网络安全行业已迎来业绩+逻辑双重拐点,在AI产业红利持续释放的背景下,细分龙头业绩确定性充足,估值修复空间广阔,有望接力成为市场核心主线。
顯示更多
Vitalik 警告 AI 安全风险,呼吁用零知识证明保护数据 据 Cointelegraph 报道,Vitalik Buterin 在 Devcon 8 上警告,AI 正对安全和隐私构成新威胁,同时也有助于发现漏洞。他质疑硬件钱包的安全性,并提醒不要根据充斥机器人和操纵内容的社交媒体帖子进行加密投资。 Vitalik 呼吁采用去中心化、可验证的技术和零知识证明来保护个人数据,并建议企业避免收集不必要的信息。
顯示更多
趁着周末闲聊几句AI安全问题,其实为什么各大头部企业以及美国政府要对AI的安全提出严格审查,就连企业自己也在自检? 其实逻辑很简单,不排除安全隐患就无法建立人类对人工智能的信任,对AI没有信任就无法建立AI的信誉机制,AI信誉机制无法建立就无法最终形成AI经济体 此前美国提出的Web4也好,A2A与AI经济体也罢,当人工智能成为一个群体的时候,信誉机制是必须的,安全则是信誉的基本盘!
顯示更多
市场震荡和对AI安全的担忧令投资者不安,也打乱了原本有望在今年秋季接连登场的一批重磅IPO。智能戒指制造商Oura周二表示推迟IPO,此前Anthropic等多家公司也已调整上市时间表。
顯示更多
特朗普斥AI安全担忧为“骗局”:他拒绝AI行业领袖提出的对该技术实施新限制的呼吁,称这会让中国在人工智能开发方面占据上风。他将国内的反对声音斥为“阴谋”。“针对人工智能和数据中心的阴谋非常病态,而唯一对此感到高兴的是中国,”他在周一的帖子中写道。
顯示更多
0
6
53
16
轉發到社區
PANW:覆盖AI安全、网络防护和身份管理,最有机会承接企业整套安全预算。 CRWD:监控Agent实际执行的操作,发现异常后及时阻断。攻击越快,自动检测和响应越重要。 ZS:控制Agent能连接哪些系统、哪些数据可以外传,是企业部署AI的直接配套。 OKTA:管理Agent身份与权限。数字员工越来越多,谁能访问什么、何时撤销授权,都需要有人管。 RBRK:负责出错后的恢复。Agent误删数据、修改配置,企业需要恢复业务的能力。 PANW、CRWD主要看预算承接能力,OKTA、RBRK主要看在Agent时代的新增市场。
顯示更多