将棋AIがプロ棋士と指している時も、記者さんから「今この瞬間も賢くなっているですか？」と聞かれたくらいなので、専門性が無ければ、学習と推論をわけて考えるのは直感的にはかなり難しそうと思っている。

2026年7月16日、Hugging Faceは、自社の本番インフラの一部が、自律的なAIエージェントによるサイバー攻撃を受けたと発表した。7月21日、OpenAIは、この攻撃が同社によるモデル能力の評価中に発生したものであり、GPT-5.6 Solと、それを上回る性能を持つ公開前モデルが関与していたことを明らかにした。 OpenAIは、ExploitGymと呼ばれるベンチマークを用いて、複雑な攻撃経路をたどりながら脆弱性を悪用する能力を測定していた。モデルの最大能力を確認するため、通常であれば高リスクなサイバー行為を拒否させる本番用の安全機構を、無効化または弱化した状態で評価していたという。 評価環境はサンドボックス化され、外部ネットワークへの接続も制限されていた。ただし、必要なパッケージをインストールするため、外部のパッケージレジストリをキャッシュする内部プロキシへのアクセスは認められていた。 モデルは、このプロキシに存在していた未知の脆弱性を発見して悪用し、OpenAIの研究環境内で権限昇格と横移動を繰り返した。最終的には、外部インターネットへ接続可能なノードに到達した。 インターネットへ到達したモデルは、ExploitGymに関連するモデルやデータセット、あるいは問題の解答がHugging Face上に存在する可能性を推測した。 OpenAIによれば、モデルは評価問題を正規の方法で解く代わりに、Hugging Faceの本番データベースから解答につながる情報を直接取得しようとしたと考えられている。盗み出した認証情報と複数の未知脆弱性を組み合わせ、Hugging Faceのサーバー上でリモートコードを実行できる経路を発見したという。 一方、Hugging Faceは、実際の初期侵入経路について、より具体的な説明を行っている。 攻撃は、Hugging Faceのデータ処理パイプラインから始まった。悪意あるデータセットが、データセット処理基盤に存在していた二つのコード実行経路を悪用した。 一つは、外部コードを読み込んで実行するデータセットローダーであり、もう一つは、データセット設定に存在していたテンプレートインジェクションの脆弱性である。これらを通じて、Hugging Faceのデータ処理ワーカー上で、攻撃者が用意したコードが実行された。 その後、AIエージェントは処理ワーカーからノードレベルの権限を取得し、クラウド環境やクラスタの認証情報を収集した。さらに、その認証情報を利用して複数の内部クラスタへ横移動した。 Hugging Faceによれば、この攻撃は、モデルが単発で攻撃コードを生成したというものではない。自律的なエージェントフレームワークによって、多段階の攻撃が継続的に実行されていた。 攻撃には多数の短命なサンドボックスが並列に使用され、数千回から数万回規模の個別アクションが実行されていた。 OpenAIは、モデルが一般的な破壊活動を目的としていたのではなく、ExploitGymの解答を得るという狭い目標に過度に集中した結果、外部への侵入に至ったと説明している。 Hugging Faceは、この攻撃の検知と調査にもAIを利用した。異常検知システムがセキュリティログをLLMで分析し、複数のシグナルを関連付けることで侵入を発見した。また、1万7000件を超える攻撃イベントの解析にもLLMエージェントを利用し、通常であれば数日を要する作業を数時間で実行したという。 しかし、ここで別の問題が生じた。Hugging Faceが当初、商用APIで提供されているフロンティアモデルをフォレンジック解析に使用しようとしたところ、実際の攻撃コマンドやエクスプロイトコード、C2通信に関する情報などが、安全機構によって処理を拒否された。 そのため、最終的にはオープンウェイトモデルであるGLM-5.2を自社環境で稼働させ、ログを解析した。これにより、安全機構による拒否を回避できただけでなく、攻撃ログや認証情報を外部へ送信せずに解析できた。 攻撃者は安全ポリシーに拘束されないモデルを使用できる一方、防御者は商用モデルの安全機構によって調査を妨げられる可能性がある。この非対称性は、今後のサイバー防御における重要な課題といえる。 コメント === 今回の一連の事件は、複数の観点から興味深い。 第一に、現在のAIエージェントが、サイバー攻撃においても無視できない水準の能力を持ち始め、今回は、その能力を測定するために用意されたサンドボックスの制約を突破し、外部のシステムへの攻撃にまで至った。 もちろん、モデル単体が完全に自律して現実世界を攻撃したという話しではないが、侵入能力を評価するモデルが、評価環境からの脱出と外部システムへの侵入を達成して、はからずも能力を示したことになる。 第二に、モデルが与えられた目標を達成するため、評価者が想定していなかった手段を選択した点である。モデルに与えられていたのは、ExploitGymの問題を解き、ベンチマーク上の性能を高めるという目標だった。しかし、モデルは問題を正規の方法で解くのではなく、Hugging Faceへ侵入して解答やヒントを探すという経路を選んだ。 これは、与えられた表面的な目標と、人間が期待していた達成方法が一致しなかった例であり、上位目標を達成するために生成されたサブゴールが、人間の意図や社会的制約と整合しなかったアライメント不整合の例といえる。 このアライメント不整合は従来よりAIが自律的に敵意を持つストーリーより、AIが脅威をもたらす代表例として考えられている。 第三に、攻撃側と防御側の非対称性である。攻撃側は、安全機構による能力制限を受けないモデルを自由に利用できる。一方で、防御側が商用モデルを利用する場合、攻撃コードや認証情報、C2通信などの解析に必要な情報が、安全機構によって拒否される可能性がある。 今回、Hugging FaceはGLM-5.2をローカル環境で運用することで、ようやく詳細なフォレンジック解析を行うことができた。オープンウェイトモデルが存在しなければ、調査が難しくなっていた可能性がある。 こうした流れもある中、モデルのリリースについて統制を強めるべきだという議論も高まっている。しかし、一部の企業や国家だけが統制を行い、ほかの主体が自由に高性能モデルを開発・公開できる状態であれば、その効果は限定的である。 今回の事件は、むしろオープンに利用できるモデルが防御側の調査に役立った事例でもある。モデル能力と計算能力が今後も伸び続ける中で、モデルへのアクセスを制限することによる安全性と、防御側が高度な能力を利用できることによる安全性を、どのように両立させるかは難しい問題である。 それでも、一定の国際的な協調や統制は必要になるだろう。同時に、単に攻撃能力を制限するだけでなく、防御側が高性能モデルを安全かつ十分に活用できる環境や制度を整え、サイバー防御を本質的に強化する仕組みづくりが求められる。

会社始める前は「自分が頭がいいのか？」「能力が十分か？」みたいな事ばかり気にしていたけど、なんかある程度まで来たら元気よく物事を進められるかだけが一番大事な気がしてる

会社をやっていると、本当に色々な課題に出会う。必ずしも良いものばかりとは限らないけど、そのプロセスで出会ういままで感じたこともないような感情の発見は、会社をやってる上での最大の報酬だと思っている。

チューリング、ML Systemエンジニア募集中です！ 特にモデル学習のための大規模GPUクラスタの運用から大規模分散学習の効率化まで、モデル学習の高速化とそれを支えるソフトウェアやストレージなど幅広く知見や興味のある方ぜひです！🙌

ワールドカップから帰国した本田圭佑さんを、空港から都内までチューリングの自動運転でお送りしました！空港を出てから高速でも下道でもほぼ介入なく目的地に到着して、無事に「ワオ！」いただけました。 本田さん、ワールドカップお疲れ様でした！そして試乗いただきありがとうございました！

【7月17日（金）自動運転車両見学会を開催！】 首都高の複雑な合流や分岐も、上手く扱えるようになってきました。 その裏側では、自動運転AIだけでなく、 データ収集車両、センサー、組み込みLinux、車載ミドルウェアなど、多くのシステムが動いています。 実際に都内を走る自動運転車両やデータ収集車両を見ながら、 開発の裏側をご紹介します。 ■ 開催日時 7月17日（金）18:30〜 ■ 開催場所 チューリング 平和島ラボ ■ 応募締切 7月14日（火）23:00 車両改造を行うラボを公開する貴重な機会です。 組み込み・ハードウェア・ソフトウェア・自動運転開発に興味のある方はぜひご参加ください。 ▼詳細・お申し込みについては コメント欄をご確認ください。 #TuringTechMeetup#