MoEとループ型Transformer、2つの軸を1つのスケーリング則で語れるか？Metaの論文です。 タイトル: Scaling Laws for Looped Mixture of Experts URL: 🔁 概要 重みを繰り返し使うループ（再帰）と、エキスパートを疎に使うMoEを同時に扱う「Loop Scaling Laws」を提案しています。 ❓ 解決する課題 従来の法則は2軸を別々に扱い、ループの利得を上限なく増えるものとして表していました。実際は再帰の利得は逓減し、エキスパートが多いほど長く効き続けます。 📐 提案手法 実効パラメータ数を Neff(R) = N + κ₁·Nloop·(1 − e^(−(R−1)/κ₂)) と有界にし、係数をアクティブ比 m に応じて m^(−θ) 倍に。計算量やメモリの予算から、最適な再帰回数とエキスパート数も導けます。 📊 実験結果 ・R=16など未知の条件で誤差が最小（密モデルでRMSE 0.0092） ・約5×10²⁰ FLOPsで、E≥8の0.3B MoEが1.0B密モデルを上回る ・約1.5×10²² FLOPsで、0.3B active/1.3B totalのLoopMoEはR=4〜5でBBH 31.5〜31.8、GSM8K 41.5〜41.2。0.6B active/2.9B total MoEの29.8と42.9にほぼ並ぶ ・ただし総合スコアは下回り、推論計算量も増えます #ScalingLaws# #MoE#

🏢 司令塔を置かずに1,024体のAIエージェントを協働させたら、誰も指示していない「組織」が自然に立ち上がりました。 タイトル: Agensh: Scaling Organizational Intelligence to 1,024 Agents URL: 📋 概要 Microsoft Researchによる、中央オーケストレーターを持たない自己組織化マルチエージェントハーネスです。ワーカーが並行・非同期に動き、軽量なインフラ越しに進捗を共有します。 🔥 解決する課題 既存のマルチエージェント基盤の多くはオーケストレーターがタスクを分解して割り当てる構造です。そのため全体のスケーラビリティが、司令塔1体の管理能力と統合能力に縛られてしまいます。 🛠 方法論と提案手法 各ワーカーが同じ5ステップのループを回します。文脈を集める、サブタスクを自分で宣言する、実行する、受け入れ基準で検証する、共有ワークスペースにマージする、の繰り返しです。支えるのは3つのインフラだけで、Giteaによる共有ワークスペース、Mattermostによるメッセージ、観測と事実と失敗と宣言を型付きで溜める追記専用の共有コンテキストです。協調プロトコルはランタイムではなくプロンプトに書かれているため、Claude CodeやCopilotの上に薄く載せられます。 📊 実験結果 インターネット遮断・6時間予算でソフトウェアをゼロから再現するProgramBenchの最難5タスクで検証しました。 ・5タスク平均のテスト通過率は1体の19.31%から128体の28.78%へ、相対で約49%改善 ・pandocでは1体の33.89%から1,024体で55.06%に到達 ・到達速度も変わり、pandocで通過率30%を超えたのは128体なら30分、32体は60分、8体は90分。1体は2時間かけても届きませんでした 🌱 創発した協調 全員が同じプロンプトなのに、規模が増すと協調の形が変わります。8体ではインターフェースを決めて分担し、32体では承認の撤回と再レビューが回り始め、128体ではレビュー相手を経験で選び統合手順を標準化し、1,024体では「統合担当」という役割が生まれて複数候補に打診し最速の相手を選ぶようになりました。 #マルチエージェント# #AIエージェント#

⚙️ TL;DR: モデルを変えずに「エージェントを動かすソフトウェア」だけを自動で改良して、トークンコストを約半分に削減しました。 タイトル: SoL-Pi: Recursively Scaling Auto-Research Loops for Efficient Agent Harness URL: 📌 ポイント 🔍 約500の実行環境で150方向を探索し3,000回超の実行で効率化手法を発見 🧩 ファイル変更とテスト実行を1リクエストに統合する「Action Fusion」など4メカニズム 📉 EdgeBenchでトークン流量を49.0%、コストを33.2%削減（性能は93.7%維持） 🔄 追加学習なしでOpus 5に適用してもトークン44.7%・コスト33.5%削減を維持 💰 Terminal-Bench 4では解決タスク1件あたりのコストを11.6%削減 ⏱ Codex比で時間あたり8.75〜13.50ドルのコスト削減効果を推定 モデルではなくハーネス自体を自動探索で鍛えるという発想が、地味だけど実運用に直結する効率化だと思います。 #AIエージェント# #LLMコスト最適化#

🤖 ロボットの器用な手つきも、結局は「データ量」で伸びることが実証されました。 タイトル: GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation URL: 🧩 概要 AgiBot Research Teamが、既存の動画生成モデルを流用せず全コンポーネントをロボット操作データからゼロで学習する「ワールドアクションモデル」GE-Act 2.0を提案しました。未来の視覚状態を予測し、そこから行動を導きます。 ⚙️ 解決する課題 既存手法は再構成品質重視の動画生成器をそのまま使っており、行動予測に必要な情報が保証されない上、視覚生成とインバースダイナミクスの事前学習と接続の関係が未解明でした。 🛠 方法論と提案手法 64倍圧縮の行動特化オートエンコーダ（CoAE）、1回の順伝播で未来映像を生成するSingle-Step Visual Planner、視覚予測と実行動のズレ（妥当性ギャップ）をtop-k選択で解消するKASOという3つの工夫で構成されています。 📊 実験結果 学習データを300時間から3万時間に増やすと、ロボットG1-OPの成功率は17.1%から44.1%へ27.0ポイント向上。データが2%未満しかないG2-90Dでも17.7ポイント向上し、身体をまたいだ知識転移が確認されました。物体・色・位置の指示追従も90%以上の精度を達成しています。 #ロボティクス# #世界モデル#

🎮 コードエージェントが強いのは「実行して検証できる」から。同じ発想をゲーム開発に持ち込み、世界モデルの学習を加速させる研究です。 タイトル: Agentic Game Development as a Verifiable Trajectory Data Engine for Scaling World Models URL: 🧩 概要 動画やCLIPスコアのような曖昧なプロキシ指標では報酬がゲーム化されやすいという「検証可能性のボトルネック」を指摘し、ゲームエンジンの衝突判定・物理演算・navmeshチェックを報酬源として活用する手法を提案しています。 ❗ 解決する課題 空間生成モデル（動画・3D・世界モデル）は信頼できる報酬信号を欠いており、スケーリングしても真の能力向上につながらない「不可検証性の代償」を抱えています。 🛠 方法論と提案手法 エンジン由来の密な構造的報酬と人間の採否判断を組み合わせるRLHEV、Propose→Render→Verify→Repair→Reviewの反復ループを回すAWoMoエージェント、開発トレースを統一構造化するUWDPプロトコルを提案しています。 📊 実験結果 UnitySceneBenchで曖昧プロキシ比+0.098、クロスエンジン汎化はUnity→Godotで0.15→0.35に向上。さらにD4RL Gym-MuJoCoで+48.43%、R2Rナビゲーションで+0.79%の性能向上も確認されています。 #世界モデル# #強化学習#

🤖 ロボットが「行動する」だけでなく「考えて」「未来を予測してから動く」ようになったら何が変わるでしょうか。37,000時間超のデータで訓練された体現型基盤モデルの発表です。 タイトル: GigaBrain-0.7: Scaling Embodied Foundation Models to Emergent Capabilities with a Three-System Architecture URL: GigaBrain-0.7は、理解・予測・行動を明確に分離しつつ統合する三システムアーキテクチャを提案しています。注目ポイントは次の3つです。 🧠 System 2: 理解と計画 PaliGemma2(3B)をベースに、現在の視覚シーンと長期指示を解釈し、chain-of-thought推論で「ハンガーに掛ける」を「まず赤い帽子を拾う」のように部分タスクへ分解します。 🔮 System 3: 予測と評価 GigaWorld-1ベース(5B)で将来の視覚状態を動画として予測し、最終フレームを「サブゴール画像」として抽出。同時にタスク進捗をスコア化し、行動を導く評価信号として活用します。 🦾 System 1: 行動と制御 Mixture-of-Transformers構成で連続行動チャンクを生成。16種類のロボット形態に対応する統一embodiment表現により、マルチロボットでの汎用性を実現しています。 大規模な事前学習を進めるほど検証損失が一貫して下がり、創発的な体現能力の兆しが見えてきた点が印象的です。 #ロボティクス# #身体性AI#

1時間以上のインタラクティブ世界を、単一GPUで生成し続けられる——そんな世界モデルが登場しました。 Alaya-EVOKE: From Linear-Scaling Supervision to Endless World 動画世界モデルの核心技術を3つに絞り込み、徹底的に深掘りします。 🗺 注目ポイント1：外部幾何学メモリによるO(1)コンテキスト 従来の世界モデルは生成が長くなるほどトランスフォーマーの文脈長が爆発し、実質的に数分が限界でした。EVOKEは生成フレームから単眼深度推定を行い、カメラポーズでインデックスした「ワールドステートバンク」に3D点群として外部保存します。次チャンク生成時はバンクから必要な幾何学情報を検索してデノイザーに注入するため、セッションが65分を超えても各コールの入力サイズは1.5秒（9フレーム）のまま一定です。「セッション長は再帰コールの回数のみを増やし、各コールのコンテキスト長は一切増やさない」という設計が鍵です。 🎓 注目ポイント2：監督ホライゾンと勾配ホライゾンの分離 長期的な一貫性には長いホライゾンで監督する必要がありますが、バックプロパゲーションのメモリが問題でした。EVOKEは14B Wan2.2教師モデルを設計し、「教師は完全軌跡を評価するが、学生の勾配計算はチャンクごとに切り離す」という手法で解決します。制御実験では、長ホライゾン教師（30秒監督）の学生は輝度が101%で安定、短ホライゾン教師の学生は74%に下落（Wilcoxon p=0.016）。長い教師監督が長期一貫性の「要」であることが統計的に証明されました。 ⚡ 注目ポイント3：CFGなし3ステップ推論でVBench-2.0首位 CFG（Classifier-Free Guidance）を一切使わず、粗→細の潜在ピラミッドで3回のデノイジングのみ。それでもVBench-2.0でスコア66.77（10システム中1位）を達成し、多ステップシステムと同等品質を実現。1チャンク（1.5秒）の生成時間はH200 1枚で2.11秒です。 「持続的状態とデノイザーコンテキストのデカップリング」という発想の転換が、時間軸で破綻しない世界モデルへの道を開きました。 #世界モデル# #動画生成AI#

TL;DR: 系列と非系列の特徴を1つのバックボーンで双方向に融合し、有効ランク(eRank)を意識したアテンションで表現の多様性を保つ推薦ランキングモデル「HiRank」の提案です。Taobaoホームページのオンラインテストで、ユーザーあたり注文数が+2.27%向上しました。 タイトル: Unified Heterogeneous Feature Interaction via Effective-Rank Scaling for Recommender Systems URL: ポイント ・🧩 エンコードしてから相互作用させる従来構成をやめ、イベント単位の系列状態を層をまたいで参照 ・🚪 HSTU型のゲート付きアテンションで主行動系列をモデル化 ・🔎 興味クエリと候補クエリの2種で長期履歴メモリを検索し、検索の多様性を確保 ・🔀 系列・検索結果・特徴・候補トークンをトークンミキシングで融合 ・🎯 シナリオ認識の圧縮と複合トークンで、High-Rank Attentionをかける ・📊 オフライン: ホームページGAUC 0.7801（最強ベースライン比+0.0186） ・🛒 オンライン: 注文数/ユーザー +2.27%、GMV/ユーザー +2.86% 💡 モデルを大きくするだけでなく、系列長と表現の多様性が効くという示唆が面白い論文です。 #推薦システム# #LLM#

TL;DR 複数のハーネスで解けた成功体験を、単一の汎用ハーネスで再現できる学習データへ「書き直す」手法です。生データをそのまま学習させると性能が落ちる一方、書き直すとpass@3が57.0%から74.2%へ上がりました。 タイトル: Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite URL: ポイント 🧩 ハーネスが違えば解けるタスクも違い、3種類の和集合は最強単体より34.3%多くのタスクを解きました 📝 成功軌跡から手順書を再構成し、新しいサンドボックスで汎用ハーネスのまま解き直させます 🔍 手順書が答えを漏らしていないかを批評役が検査し、却下なら理由付きで作り直させます 🧹 最後にモデル自身が「環境から導けない値」を検出して該当データを破棄します 📈 学習データは2,001本から11,094本へ拡大し、Terminal-Bench Hardは39.0%から63.0%に向上しました ⚠️ 生データ直接学習はTB2でむしろ悪化。同じ行動を延々ループする行き止まり挙動が混入していました 🎛 学習なしでもハーネスを替えるだけでTBHは33.0%から66.0%へ倍増します 自前のエージェントログを学習に回すなら、書き直しと漏洩監査を挟む価値があると感じる結果です。 #AIエージェント# #自己改善#

TL;DR: Issueやコミット履歴を使わず「ソースコードそのもの」だけから、コーディングエージェント用のRL訓練タスクを5,545件も自動生成するパイプラインが登場しました。しかも量より質を優先した設計です。 タイトル: CodeMidas: Scaling Agentic Coding RL Environments from Code Itself URL: ポイント 🏗️ 3,185リポジトリ・23言語・15ドメインから5,545タスクを自動構築 🧪 リファレンス実装を実行して期待値を記録する「実行に基づくテスト」で検証器を自動生成 🛡️ リーク検査・解答一致確認・難易度フィルタの3段構えで環境の質を保証 📈 DeepSWEで+11.7pt、ProgramBenchで+17.0pt、Terminal-Benchで+8.5ptと大幅改善 🔍 フィルタ済み5kタスクがフィルタなし8kタスクを一貫して上回り「質が量に勝る」ことを実証 🧠 訓練後は探索・自己検証の頻度が増加し、外部ベンチマークにもその挙動が転移 開発履歴がなくても、コードさえあればRL訓練環境を作れるという発想がシンプルで実用的だと感じました。 #CodingAgent# #強化学習#