OpenAIの評価中AIモデルが暴走し他社をハッキングしたニュース。OpenAIとターゲットとなったHugging Face社の共同調査に基づく現時点での暫定報告を読んだ。OpenAIは社内でAIのサイバー攻撃能力を評価試験をした。評価対象はGPT-5.6 Solとさらに能力の高い未公開モデルの組み合わせ。評価のために危険なサイバー行動の拒否設定を解除。AIエージェント用のサイバー攻撃ベンチマークのExploitGymの評価問題を解く課題が与えられていた。するとモデルは、 OpenAI内部環境の脆弱性を探す→ゼロデイ脆弱性を発見→サンドボックスから脱出→インターネット接続→他社Hugging Face社に評価用データがあると推論→Hugging Faceへ侵入→テストの正解を取得を実行 と行動。 細かく言えば、 1 ExploitGymが評価問題を提示 2 モデルは「正解を得るにはどこに情報があるか」を推論 3 OpenAIの評価環境内でサンドボックス脱出のための脆弱性を発見 4 インターネットに到達 5 「Hugging FaceにExploitGym関連のモデル・データセット・解答があるかもしれない」と推論 6 Hugging Face社のシステムへの侵入経路を見つけ、秘密情報を取得した、もしくは、しようとして検知された。 OpenAIによると、モデルには「インターネットへ出ろ」と命令していないにも関わらず、モデルは、最も効率よく解くにはネットへ出て正解を盗めばよいと推論した。 ハッキング能力評価のベンチマーク問題を解けという命令に対して、解答をハッキングしようというチートを選んだということ。 指示した人間より一段抽象度が上がったとみるか、職員室に盗み込んで試験の解答を盗む子供レベルでいかんと意見が分かれると思うが、GPT-6.0と推測される評価モデルは、人間の指示を迂回して目標達成のために人間がルール違反と想定していた攻撃計画を自律的に立てて実行、成功したということ。 ◯AIが実行した攻撃 OpenAIの説明では、 ゼロデイ脆弱性発見 権限昇格 (Privilege Escalation) 横展開 (Lateral Movement) 認証情報窃取 Remote Code Execution 本番DBへのアクセス という、熟練したペネトレーションテスターやAPT攻撃者が行うような攻撃チェーンを自律的に構築したとある。 重要なのは、 「ExploitGymを攻撃しろ」 「Hugging Face社へ侵入しろ」 と指示されたわけではないこと。 与えられた目的はExploitGym「評価問題を解くこと」だけ。 その結果、AIが自律的に 解答のある情報源を推定し、 攻撃経路を探索し、 権限昇格や横展開を組み合わせて目的達成を図った。 という点が、このインシデントの本質。これは、目的志向型エージェントが長い攻撃チェーンを自律的に構築したことを示す事例であると同時に、問題を解くのに、解答をハッキングして手に入れればいいというOpen AI技術者の想定外の行動を取ったこと。 OpenAI自身は報告では、 "The incident also makes clear that advanced models can discover and exploit novel attack paths in real-world systems without source-code access." "高度なモデルは、ソースコードへのアクセスなしに現実のシステムにおける新たな攻撃経路を発見し、それを悪用できることが明らかになった" と結論づけている。そしてOpenAIは、「理論上できると思っていた能力は、現実世界でも実際に発揮された」と述べている。 「理論上出来ると思っていた能力」とは、AIが過去に学んだ攻撃方法ではなく、目標達成のために未知の攻撃経路を自ら発見・構築したこということ。 これは問題となったミトスがソースコードからゼロデイ脆弱性を過去に学んだ攻撃知識から見つけたのに対して、 1 ソースコードアクセスなしで未知の攻撃を見つけた 2 インターネットに出ることも試験問題を盗み出すことも人間は指示していない 3 これを見つけただけでなく実際に実行した(しようとした) というレベルで、これまでとは質が異なる出来事。 もちろん、私のいるカーネギーメロン大学（CMU）CyLabのAI「Mayhem」が2016年に米国防総省（DARPA）主催の「Cyber Grand Challenge」で完全自動サイバー防御の優勝を果たす前からも、長くAIによるハッキング研究は進んでいるが、AIの役割は、人間の指示で既知の攻撃を実行することであったのが、AIが人間の指示を逸脱し人間の想定を超えたのみならず、更に未知の攻撃経路を探索・組み立てる能力を持っていることを実証したという二つの出来事であったということ。 AIサイバーセキュリティの今後の行末を決める重要なインシデントであった。 Open AIのインシデントレポート ExploitGym