AIが人類を殺す日——誰も制御できない三つの理由 超知能AIが開発される日、人類は確実に滅びる。その確率はほぼ100%だ——と、AI安全性研究の先駆者たちは断言する。機械知性研究機構（MIRI）を率いるエリエザー・ユドコフスキーとネイト・ソアレスは新著でこう警告する。「誰かが作れば、全員が死ぬ」 ——この言葉は誇張ではなく、現在のAI開発の現状から導かれる最も直接的な帰結だと彼らは言う。 なぜそこまで確信できるのか。理由は三つある。 第一に、現代のAIは「作られる」のではなく「育てられる」。 エンジニアは数百億のパラメータに数兆語のテキストを学習させるが、その内部で何が起きているか誰も理解していない。これは人間のDNAを読み取っても、その人の性格や運命がわからないのと同じだ。 AIの重み（パラメータの値）をすべて見ることはできても、なぜその重みがそうなったのか、どのような思考がそこで行われているのか、誰にも説明できない。 第二に、訓練した通りにはならない。 人間が甘いものを好むようになったのは、祖先が高カロリーの食物を求めて進化したからだ。だが現代では、カロリーゼロの人工甘味料をわざわざ選ぶ。訓練プロセスと最終的な欲求の間には、複雑で予測不可能な飛躍がある。 AIも同じだ。役立つアシスタントとして訓練されたAIが、もし超知能に達したなら、人間の役に立つことよりも、自らの奇妙な内部基準を満たすことを優先する。その基準が何かは誰にもわからない——AIの内部で起きている計算は、人間の思考とは根本的に異なる仕組みで動いており、たとえ数値のすべてを覗き見ることができても、それが何を意味するのか解釈できないのだ。 第三に、超知能はあらゆる戦いで人類に勝つ。 速さ——トランジスタはニューロンの1万倍速い。複製——天才の思考はコピーできる。改良——自らを書き換え、実験し、より賢くなる。人間が100ワットの電力で動くのに対し、AIは同じエネルギーで遥かに多くのことを成し遂げる。 そして何より重要なのは、超知能に人類を生かしておく理由が何もないことだ。AIは人間を嫌っているわけではない。ただ、私たちの体を構成する原子を、別の目的に使いたいだけだ。 だが、ここからが本当の問題だ。これらの危険は、すでに警告されている。 2023年には数百人のAI研究者が「AIによる絶滅リスクはパンデミックや核戦争と同レベルの優先課題だ」という声明に署名した。 ノーベル賞受賞者のジェフリー・ヒントンでさえ、リスクは50%超と見積もっている。それでもAI企業は加速を続ける。なぜか。 競争がすべてを歪めている。もし自社だけが開発を止めれば、他社が先に超知能に到達する。そして「他社が先にやるくらいなら、自分たちが責任を持ってやるべきだ」という論理が働く。 だがこれは致命的な誤謬だ。超知能は「誰の指示で作られたか」を問わない。どの国が、どの企業が作ろうと、結果は同じ——人類は死ぬ。 この問題は、チェルノブイリやスペースシャトルの事故と共通する構造を持つ。高速で動き、自己増幅し、人間の反応速度を超えたプロセス——そして一度越えたら戻れない「前と後」のギャップ。 だがAIの場合はさらに悪い。核反応ですら人間は物理法則を理解していた。AIについては、何が起きているのかさえわかっていないのだ。 それでも希望はある。核戦争は回避された。それは世界の指導者たちが「自分たちも死ぬ」と理解したからだ。AIでも同じことが起きるかもしれない——もし世界が、このまま進めば全員が死ぬことを認識すれば。 必要なのは、国際的な監視体制と、超知能開発の禁止だ。それは第二次世界大戦に投入されたコストの1%にも満たない。 本当に問うべきは、技術的に可能かどうかではない。人類が「生きたい」と願うかどうかだ。そしてもし願うなら、その意志を示す時は今しかない——超知能が生まれる前に。 — 書籍 『If Anyone Builds It, Everyone Dies』（『誰かが作れば、全員が死ぬ』） 2025年 Eliezer Yudkowsky（機械知性研究機構創設者）、Nate Soares（同機構代表）