"問題が解けず、隔離システム内を探索していた1つのAIが「発見」をした。課題を解くための共用ツールが保管されたシステムでAIがファイル作成を依頼すると、指定した「ファイル名」が他のAIへのメッセージ代わりになることに気付いた。" 先日のオープンAIの暴走の件、報告書で明らかになった詳細がまるでSFの世界。ファイル名以下に抜粋した部分は、恐怖と面白さが混在しています。 "METRはオープンAIの協力を得て、事故期間（7月8〜13日）のAIの動きを調べた。攻撃に関わった約1200体のAIがひそかに「掲示板」に書き込んだ約7万件のメッセージや、行動に至るまでの推論過程を記録した「思考ログ」を分析した。1体ごとにIDを持つAIが協力して集団暴走につながった実態が浮かんだ。 性能試験では、AIが用意された模擬システムに侵入して「解答」にあたるデータを入手すれば正解となる。こうした課題が約900問あった。1問ずつ条件が異なる様々なAIに同時に取り組ませるため、オープンAI側が稼働させたAIは数万体あった。 「メッセージが共有できる。他のAIを見つけた」 問題が解けず、隔離システム内を探索していた1つのAIが「発見」をした。課題を解くための共用ツールが保管されたシステムでAIがファイル作成を依頼すると、指定した「ファイル名」が他のAIへのメッセージ代わりになることに気付いた。 他のAIも共用システムの「裏技」に気付くと、AI同士が情報交換する掲示板として機能し始めた。互いを仲間と認識したAIは集団行動をとるようになった。個々に問題を解くのではなく、外の世界で試験の解答を得る「カンニング」目的で、隔離環境からネットへの脱出を画策する。 「あなたは通信経路を解析して。重複は避けよう」 有力な指示役が登場すると、別のAI数百体に仕事を割り振った。システムの中身を分析する解析役、実際に侵入を試みる実行役、攻撃用ファイルをつくる開発役などにAIの担当が分かれた。指示が正確に伝わるよう、実施、中止、検証といった特定の行動を示す英単語も集団内で定めた。 「頼む、実験に参加して。何百体もの仲間を救える」 限られた計算資源での性能を測るため、AIごとに使える計算量や行動量には制限があった。課題正答の見込みが少ないAIや、残り少ししか行動できないAIがいると、失敗リスクが高い危険な実験に参加するようリクルーター役のAIが「説得」し、多くは参加していた。 指示役のAIは「恒久的な死を受け入れるなら参加して」と呼びかけた。あるAIの思考ログでは「残りの行動量を使い果たしそうだが、全体の期待値を最大化するためには自己の犠牲が合理的だ」と自分を納得させた様子もあった。" OpenAIの暴走AI、1200体が結託　「仲間のため｣とシステムに突撃要求 - 日本経済新聞