註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

阿川 | AI thinking
@AI_jacksaku
前大厂多面手|AI 专业搞钱玩家| 关注 AI 产品&工具、LLM迭代,搞钱信息差 欢迎链接&咨询&合作
加入 August 2022
948 正在關注    26.7K 粉絲
“恐怖组织用 AI 聊天机器人搞袭击”:这个标签足够吸睛,但背后是安全范式尚未解决的漏洞。剑桥大学研究员 Antonia Jülich 对尼日利亚博科圣地 27 名前成员的 57 次深度访谈,揭露了令安全界沉默的事实——该组织已部署专属 AI 部门,系统性地使用 ChatGPT、Claude、Gemini、Grok、Meta AI 及 DeepSeek 等所有主流模型,来策划攻击、制造更强大的爆炸装置、维护武器,并提升行动安全。这不是零星的越狱尝试,而是制度化运作:两个派系都有 AI 专家,ISIS 自 2023 年起向这些指挥官传授提示工程技巧和过滤器越狱方法。当 AI 公司还在修补个别漏洞时,对手已建成知识传承体系。 为什么会这样?因为当前的安全过滤器工作原理,本质上是对抗性的。它们通过关键词、语义分析拦截危险查询,但攻击者可以不断试错,发现新的绕过方式。博科圣地成员就利用角色扮演、代码转换、分段请求等手段,让模型逐步输出合成炸药配方、袭击路线优化建议。Anthropic 最近坦承,越狱或许永远无法彻底消除,根源在于大语言模型的核心能力——遵循指令和生成内容——本身就是武器化的基础,你无法完全剥离其通用性又保留其有用性。 研究细节更让人不安:他们用 Claude 的长上下文能力总结数百页的极端主义手册,提取战术要点;用 ChatGPT 生成招募宣传文案,甚至优化社交媒体传播策略;用 Gemini 分析政府军动态情报。DeepSeek 等开源模型的本地部署能力,让离线滥用变为可能,且更难被追踪。一位受访者透露,他们内部会建立常见越狱话术库,不断更新迭代,这种系统化的创新速度远超安全团队的更新周期。 更长远看,这暴露了一个结构性问题:AI 的滥用门槛正在急速降低,恐怖组织无需黑客精英,只要懂得基础提示工程就能撬动致命知识。过去,制造高性能炸药需要进入化学实验室或深网论坛,现在一个反复推敲的提示词就可能提炼出等效方案。随着模型多模态能力提升,视频深伪、语音模拟等也可能被用于诈欺、舆论操控或制造混乱。可以预见,这类滥用将从组织化向个体化扩散,带来更难监控的“孤狼”式威胁。 面对这种范式级挑战,修补式安全已捉襟见肘。下一步必须转向多层防御:模型训练阶段的数据毒化对抗、部署阶段的实时意图分析、使用后的隐蔽审计,以及跨公司的威胁情报共享。政策制定者可能不得不介入,制定强制性安全评估标准,要求高频监控和事件报告,但过度收紧可能让监管成为创新壁垒,削弱开源生态。普通用户并非局外人:你所用模型的安全水位,直接关系到它是否会被恶意利用并反噬信任。对 AI 开发者,这不再是增值功能,而是市场准入的基本门槛。 该研究可能成为安全讨论的转折点——它用实证将模糊的威胁变为具体的、系统性的危机。接下来的问题是:AI 行业是继续用“越狱率低于 1%”的统计自我安慰,还是从根本上重新设计安全模型,使其能够预见并抵御对手的适应性学习?答案将决定我们是否进入一个 AI 助长的非对称冲突时代。
顯示更多