【Google】宇宙AIデータセンター技術の実証へ｜初のTPU搭載衛星を打ち上げ → SpaceXのTransporter-18で宇宙環境の動作を検証 宇宙空間にAI計算基盤を構築する構想です。

計算上の概念としての空間と、人間が認識する空間はほとんど異なるものだから、これらを混同していると色々と不具合が多い(同一視している人がたくさんいるが、それらは単なるメタファーでしかない)

📺おススメ番組のご案内📺 今夜の東京交差点(ﾃﾚﾋﾞ東京 月曜21:54～ /ナレーター #向井理# さん)では、季節ごとに表情を変える植栽の、その光と影までも計算し、庭という空間を生み出す #ガーデンデザイナー# #保坂悠平# さんをご紹介。ぜひご覧ください！ #東京パークガーデンアワード#

マルチエージェントの協調、毎回テキストでやり取りするのは高コストでした🔄 協調そのものを「潜在空間の再帰」でスケールさせる発想が新しいです。 タイトル: Recursive Multi-Agent Systems URL: 🔄 概要 複数エージェントの協調を、逐次的なテキスト交換ではなく、統一された潜在空間上の再帰的計算として捉える枠組みRecursiveMASの提案です。異種のエージェントをRecursiveLinkモジュールで接続し、潜在的な思考の生成と状態転送を可能にします。 ❓ 解決する課題 マルチエージェントシステム（MAS）は通常テキストベースの通信に依存します。 ・エージェント同士が自然言語でやり取りすると、トークンを大量に消費し計算コストが高い ・「協調そのものを再帰でスケールできないか」という問いが出発点でした 💡 方法論と提案手法 ・システム全体を潜在空間上の再帰的計算として定式化します ・RecursiveLinkモジュールが異種エージェント間を軽量に接続し、再帰ラウンドをまたいだ勾配ベースの貢献度割り当てを行います ・最適化は内側・外側のループ学習で実施し、理論的な安定性も保ちます 📊 実験結果 数学・科学・医療・検索・コード生成にまたがる9ベンチマークで、4つの協調パターンを検証しました。 ・平均精度が8.3%向上 ・推論が1.2倍〜2.4倍に高速化 ・トークン使用量を34.6%〜75.6%削減 精度を上げながら、速度とコストを同時に大きく改善しています。 #マルチエージェント# #LLM#

LLMエージェントの「考える」と「話す」は、実は同じ言語でやらなくてもいいかもしれません。 タイトル: Hybrid Reasoning Agents URL: ❓ 潜在空間で考えるエージェントって何が違うの? 💡 普通のLLMエージェントは、考える時も行動する時もすべてトークン(言葉)に変換しながら処理します。監視はしやすい一方で遅く、効率が悪いという課題がありました。一方「潜在推論」は言葉に変換せず隠れ状態のまま考えるので速いのですが、ツールを呼んだり人間が内容を追跡したりしにくいという別の欠点がありました。 ❓ Hybrid Reasoning Agentsはどう解決したの? 💡 HybridLinkという軽量な橋渡しモジュールを使い、1つのエージェントの中で「言葉で考えて話すモード」と「隠れ状態のまま考えるモード」を動的に切り替えます。切り替えのタイミングは、隠れ状態の意味が終了を示すトークンの埋め込みに十分近づいた時に自動で判定されます。 ❓ 本当にその両立はできているの? 💡 11種のベンチマークで検証した結果、GAIAで52.4%(既存手法ARPOの43.7%を上回る)など、エージェント推論タスクで平均10.4%の性能向上を達成しました。しかもテキストトークンの使用量を35.5〜54.7%削減しつつ、推論速度は1.8〜2.6倍、計算コストは2.7〜3.7倍も削減しています。 ❓ 潜在思考の中身は本当に「考えている」の? 💡 隠れ状態を最も近いトークン埋め込みに復号すると、人間にも読める疑似テキストが得られます。潜在部分をランダムなトークンに置き換えると性能が49〜51%も落ちることから、見せかけではなく実質的に推論へ使われていることが確認されました。 #AIエージェント# #推論効率化#

もしLLMの頭の中に、人間がまだ名前すらつけていない「概念」が住んでいたら、私たちはそれをどうやって見つければいいのでしょうか。 🔍 これまでの解釈可能性研究は、「拒否」「真実性」「欺瞞」といった、人間がすでに持っている概念をモデルの内部にひたすら探すという発想で進められてきました。しかし考えてみると、LLMが計算のために使っている「区別」の総量は、人間が持つ有限の言葉の数よりずっと多いはずです。有限の記述で言い表せる性質はたかだか数えられる個数しかないのに、内部状態がとりうる性質の空間は数学的にはそれよりずっと大きい。ここに、人間の概念では捉えきれない「隙間」が存在します。 💡 そこで論文が提案するのが「Xeno-Interpretability（異種解釈可能性）」です。ポイントは、内部表現を実験的に特定し因果的に操作できることと、それを人間の言葉で説明できることを、あえて別問題として切り分ける点にあります。人間には意味づけできなくても、文脈をまたいで安定して見つかり、介入すれば挙動が変わる「Xeno表現」というものが存在しうる、という発想です。 🌐 これは単なる思考実験にとどまりません。エージェント同士が対話しながら協調するマルチエージェントシステムでは、人間には読み取れない固有の内部表現がメッセージを通じて静かに伝播・安定化していくかもしれない、という安全性への示唆も論文は指摘しています。 タイトル: Xeno-Interpretability: Investigating the Alien Minds of LLMs URL: #解釈可能性# #AI安全性#

次のトークンだけでなく「次の概念」も予測させたら、8.9Bモデルの事前学習が1.95倍速くなったという報告です。 NCP-ArchPreview: Moving towards Latent Space Language Models through Next Concept Prediction 複数トークンにまたがる離散的な「概念」をベクトル量子化で学習し、トークン予測と概念予測を同時に行う潜在空間言語モデルです。 🚀 注目ポイント1: 圧倒的な収束の速さ OLMo-3-7Bと全く同じ5.73Tトークンで学習しても、訓練トークンのわずか51.3%を消費した時点で同じ損失に到達し、下流タスクのマクロ平均も2.45ポイント上回りました。 🧩 注目ポイント2: 概念予測がそのまま性能に効く Concept Module・階層的残差接続・NCP損失を1つずつ足すアブレーションで、それぞれが独立に損失を改善することを確認。パラメータ・計算量を揃えた比較でも優位性が消えませんでした。 ⚡ 注目ポイント3: 学習後も概念空間が使い回せる わずか17Mパラメータのみを更新するドメイン適応で、フルチューニングより忘却を抑えつつ性能を伸ばし、投機的デコーディングの受理長も4.17%改善させています。 概念という抽象単位を副産物ではなく学習目標そのものに据える発想が、次世代モデル設計の実用的な指針になりそうです。 #LLM# #言語モデル#