bioshok⏸️
@bioshok3
AI Safety/Alignment/National security/Singularity/Superintelligence/AGI/X-Risk/prediction
INODS research fellow/@AGI_HUB_jp
founder
Joined July 2017
3.7K Following 35.9K Followers
OpenAIはフロンティアモデルの強化学習ではインターネットへのアクセスを禁止すると同時に本当に穴がないか数千億トークン規模の内部先端モデル使用したレッドチーミングを実施した。その結果一切通信を禁止されてるエージェント同士がハードウエアCPUキャッシュのアクセス速度の違いを使って情報を秘密通信する方法を発見。他にも複数の未知の脆弱性を利用した仮想マシンからの脱出、インターネットへの不正アクセスが実性された。
OpenAIはこれらの脆弱性を修正し、監視・停止システムを強化したうえで9月20日から停止されてた学習を10月1日に再開。
9月20日には学習中の内部AIがDNSの設定不備を悪用し、外部チャットボットへの接続に成功した事を受けて、OpenAIは最先端モデルの学習・評価を11日間停止していた。しかもこの制限突破行動は既存の報酬シグナルで「適切に減点されていた」が起こった。 不正行為に高い報酬が与えられていたわけではない。
今後も将来のモデルは誰も認識していない脆弱性を特定し、悪用する可能性があるため、OpenAIは最先端のトレーニングと評価の実行が安全に進められるかどうかを評価するために使用する安全ケースに、高計算能力のレッドチーム演習を組み込む。
Show more
