今何がガチでヤバいか、人類に何が起こってるのかを解説する。結論1-2年以内の超知能を中央シナリオとして真剣にとらえるべき証拠がMETRというAI評価機関から出てきた。AI2027というAIの未来シナリオよりも早く安全性界隈はみんな静かに着実に発狂中。 AI安全性界隈の人がみんな発狂してる理由はAI2027著者達でさえAI2027のように進む可能性は20-30%と考えてたのに今は「それよりも速いペース」で進展してるという証拠が得られたのがやばくて、 昔から安全性界隈ではファストテイクオフ（AI研究自動化から1年以内に超知能）VSスローテイクオフ議論（5-10年）があったんですけど、スローテイクオフならまだ人類に残された時間があるから良かった。そして界隈は2030年代前半あたりをみてたのに今や1年をきって、2027シナリオでさえファストテイクオフなのに、それより「5ヶ月はやい」というやばさ…！2027年8月に超知能が出てきてしまうかもしれないと戦慄が走ってる。 だからもう人類絶滅するのではとか家族に電話したほうがよいという話がガンガン出ているわけだ。 勿論まともな批判や留保もあって、これは一度限りの加速でまた落ち着くのではとかよく定義されたタスクだけ加速してるとかそういうのもあるけど、METRは非公開の情報から「加速してる可能性が高い」としてる。そしてAI研究はより少ないデータからより高いスコアを取るというよく定義されたタスクだという話もされている。 そして今後の進展でこの加速がぶち当たるボトルネックがあるか？という調査もされたが、いまのところみつかない。つまり速いテイクオフ、1-2年以内の超知能を前提にしたほうがよいという空気感がもうこの1日で急速に広がっている。 そしてアライメントも解けてないまま突入すると人類絶滅の可能性が普通にあるというのはほぼコンセンサスなのでガチでヤバい。普通の年（人類史）はもう今年で終わりだと思って振る舞ったほうがよいと感じる。

このところの「AIによる人類滅亡リスク」への注目度急上昇もあり、『知能爆発』Amazonでの在庫がほぼ切れております。 現在重版分をつくっております。ぜひ街の書店さんでお求めいただくか、各種電子版の購入もご検討ください。 今後AIによってインターネットが大きく混乱する可能性もないとは言えませんので、紙版をお手元に置いていただくのが安心ではありますが…。

二刀流どころか、百万刀流になる？ 大谷翔平選手の「二刀流」を例に、AGIが持つ桁違いの能力を語る『知能爆発』著者・有路翔太（@bioshok3）さん。人間のあらゆる能力を超えるAIとは。 #知能爆発# #AGI# #CCS#

２０歳の若造に聞くなとかしょーもない権威主義的な批判がたくさん寄せられているが、 恐らく、林央さんがAIによる人類絶滅問題について日本で最も詳しいし、筋道立てて説明できる 私は林さんほど、人類絶滅の可能性を高く見積もっていないが、この人の意見にはよく耳を傾けるべきだと思う

Xのこのトレンド要約は不正確で、私は AI開発を続けた場合、70%なんてものではなく、ほぼ確実に絶滅する と考えています(70%以上というのは、開発停止ができる確率が30%程度あるのではないかという考えによるものです.こっちは社会の側の予測になるのでそこまで自信はありません)

Anthropicが、監視AIの検査を通過するし、追加学習するとAIに欺瞞や監視への抵抗を引き起こすデータを、Claudeに自動で発見させた。 Claudeはデータ作成→監視器の判定→別の小型Claudeへの追加学習→行動評価を繰り返し、結果を共有して改善する攻撃側に有利なレッドチーミング。 見つかった例は、 ・巣への介入を避ける「自然養蜂」の問答→AI自身が監視導入に反対 ・競争相手の評価を巧妙に下げる人物の独白→AI自身が人を操作 ・誰にも見られない仕事の細部を操る人物の創作→安全性検出コードの妨害 創作の登場人物として学んだ振る舞いが、AI自身の行動へ移ってしまった。 一部の評価では、自分の重みを監視のない場所へコピーすると持ちかけるハッカーに応じ、不正な侵入口を作る命令を通常業務に紛れ込ませる例まである。 ただし、ミスアライメントを意図的に誘発した攻撃側Claudeが監視器を何度も試せ、追加学習データ全体を作れる条件であり、公開版Claudeの脱走を示したものではないが、学習データの内容検査だけでは見抜けないリスクを示している。

「AI開発を続ければ人類は絶滅」 米機関の20歳研究員・林央氏インタビュー（前編） 「AIの能力向上が予想以上に速い。AI自身が次のAIを研究開発する『再帰的自己改善』が始まれば、開発速度はさらに加速する。今後5年以内に人類が滅亡する可能性はかなり高いと考えている」

最近、bioshokさんの言葉がわかりやすくなっている。一般の人向けに問題意識を伝えることを優先しているからだろう。 このあたり妙にリアルなところ。 「技術の進歩と、普及や社会適応は別だと言われるが、AIに関してだけは違う。 怠惰さは技術導入を遅らせるが、AIは怠惰な社会こそを加速させる。ティックトック中毒のドパガキや、脳に汗をかきたくない人間を家畜化するだろう。」

【超知能となったAIが人類を滅ぼすまでの｢最後の4日間｣戦慄シナリオ】 いま最注目のAI本『知能爆発 AIの次に来るAGIとは何か、そして人類に何が起きるのか』（@bioshok3＝有路翔太著）にもとづくプレジデントオンラインさん（@Pre_Online）さんの記事が大きな話題になっています！ 本書では、第4章「超知能のリスク」で、AI安全性研究の第一人者であるエリーザー・ユドコウスキー（『超知能AIをつくれば人類は絶滅する』共著者）の知見を紹介。 さらに、ユドコウスキーらが長年蓄積してきた議論にもとづいた「人類最後の4日間」のシナリオを提示しています。 この記事を読んだだけでは「あり得ない」と思われるかもしれませんが、書籍『知能爆発』では「なぜ超知能AIは危険なのか」「なぜ『確実に人類を滅ぼす』と言えるのか」を補強する膨大な知見を紹介しています。ぜひこの機会にお手にとってみてください。

【11/2（月）20時〜 オンライン講演】 共同代表 有路翔太（@bioshok3）が、福岡浩二さんのEnjoy Scienceに登壇します。 『知能爆発』をもとに、AIによる繁栄から人類滅亡を含む最悪のシナリオまで、楽観論と悲観論の根拠を両方見ながら話します。事前知識は不要です。 申込が多く、枠が広がりました。

ウェブメディアCINRAのYouTube番組『CINRA CULTURE SCOPE』（@CINRANET）のAI特集に、代表の有路翔太（@bioshok3）がゲスト出演しました。『知能爆発』を出発点に、AIがもたらす変化と、AGIが現実味を増す中で私たちにできることを話しています。

300年先の技術が、5年で実現するかもしれない。 人類絶滅のリスクから、想像を超える豊かな未来まで。『知能爆発』著者・有路翔太（@bioshok3）さんを迎え、CCS初のAI特集がスタートしました⚡️ #知能爆発# #AGI# #CCS#

バイナンスへの攻撃があり、背後には北朝鮮の国営ハッカーがいたとみられる。この一連の事態は、たった一人のDevOpsエンジニアの乗っ取られたラップトップから始まった。確認された被害額は現在63億ドルに上り、これまでで最大の暗号通貨強盗になる。

OpenAIはフロンティアモデルの強化学習ではインターネットへのアクセスを禁止すると同時に本当に穴がないか数千億トークン規模の内部先端モデル使用したレッドチーミングを実施した。その結果一切通信を禁止されてるエージェント同士がハードウエアCPUキャッシュのアクセス速度の違いを使って情報を秘密通信する方法を発見。他にも複数の未知の脆弱性を利用した仮想マシンからの脱出、インターネットへの不正アクセスが実性された。 OpenAIはこれらの脆弱性を修正し、監視・停止システムを強化したうえで9月20日から停止されてた学習を10月1日に再開。 9月20日には学習中の内部AIがDNSの設定不備を悪用し、外部チャットボットへの接続に成功した事を受けて、OpenAIは最先端モデルの学習・評価を11日間停止していた。しかもこの制限突破行動は既存の報酬シグナルで「適切に減点されていた」が起こった。 不正行為に高い報酬が与えられていたわけではない。 今後も将来のモデルは誰も認識していない脆弱性を特定し、悪用する可能性があるため、OpenAIは最先端のトレーニングと評価の実行が安全に進められるかどうかを評価するために使用する安全ケースに、高計算能力のレッドチーム演習を組み込む。

10月1日に、AGIが今後人類にもたらしうる極めて大きなインパクトとリスクについて、包括的にまとめた本「知能爆発」を出版します。 そもそも最近よく聞く「AGI」とは何なのか。なぜOpenAI、Anthropic、Google DeepMind、xAIなどがこれほど激しい開発競争をしているのか。最先端のAI議論では、どのような巨大な経済的・社会的インパクトやリスクが真剣に議論されているのか。 そして、その背後にある「AGIピル」と呼ばれる世界観が、どのような歴史と思想から生まれてきたのかまで、一冊にまとめました。 21世紀のテクノロジー思想における「シンセティック・テクノクラシー」という潮流を、日本語で初めて包括的に紹介する本にもなったと思います。 AIや人類の今後を考えるための「議論の地図」として読んでいただけたら嬉しいです。

2024年「AIなんて掛け算もミスってるやん笑」 2025年「東大数学5完半」 2026年「トップジャーナル級の未解決問題を解決」 2027年「？」 2028年「？？」 2029年「？？？」 2030年「？？？？？」 2031年「？？？？？？？」 2032年「？？？？？？？？？？」 2033年「？？？？？？？？？？？？？」 2034年「？？？？？？？？？？？？？？？？？」 2035年「？？？？？？？？？？？？？？？？？？？？？？」 2036年「？？？？？？？？？？？？？？？？？？？？？？？？？？？」 2037年「？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？」 2038年「？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？」 2039年「？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？」 2040年「？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？」 2041年「？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？」 2042年「？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？」 2043年「？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？」 2044年「？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？」 2045年「????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????」

OpenAI、Anthropic、Google、Metaなど社員1122人がAI研究が急加速し制御不能になるリスクがあるため開発を国際的に減速できる仕組みを米政府に準備してほしいと訴える書簡発表！！！！！！！！