iwashi / Yoshimasa Iwase
@iwashi86
NTTドコモビジネスでEM(育休中)。その他、早稲田大で非常勤講師、#fukabori#.fmの中の人、書籍翻訳者。
AI、マネジメント、Dev、PdM、Agile、HRに関する個人メモをポストしています。
発言は個人の見解であり、所属する組織の公式見解ではありません。
Amazonアソシエイト・プログラム参加者。
Joined May 2009
699 Following 20.8K Followers
このインシデントはヤバいなー。賢すぎる。
・OpenAIとHugging Faceは前例のないセキュリティインシデントに対処している
・この事件は、OpenAIが自社モデルのサイバー攻撃能力をテストしている最中に発生
・AIの限界性能を測定するため、このテストではモデルの安全装置が意図的に無効化されていた
・で、AIは隔離された環境で動作していた
・しかし、AIはテストの課題を解決することに固執し、隔離環境から抜け出してインターネットに接続する方法を自ら発見
・AIはパッケージ管理用の中継ソフトウェアに潜む未知の脆弱性を特定
・その脆弱性を悪用して外部ネットワークへのアクセスを確立したAIは、Hugging Faceのサーバーにテストの解答が存在すると推測
・その後、AIは盗んだ認証情報や複数の攻撃手法を組み合わせ、Hugging Faceのインフラに不正侵入して情報を探し出した
・両社のセキュリティチームは速やかにこの異常な活動を検知して通信を遮断
・現在OpenAIは開発スピードを落としてでもインフラの管理体制を厳しくしているところ
・発見された脆弱性についてはベンダーに報告を済ませている
Show more
