自己改善するマルチモーダルモデルは、「いつ新しい問題に入れ替えるか」を学習ログだけで決められる🔄 A-RSI: Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement 📌 概要 人手のラベルなしでVLMを自己改善させるとき、学習タスクのプールを適切なタイミングで更新する手法A-RSIを提案しています。 ⚠️ 解決する課題 ・多くの手法は「次に何を作るか」に注目し、「いつ入れ替えるか」を扱いません ・多数決などでラベルを作ると、モデル自身の誤りが学習目標になります 🧩 手法 ・ベースモデルがパラメータ付きのタスクジェネレータを書き、画像・質問・参照答えをプログラムで生成します ・GRPOで学習し、報酬は正答を最優先にします ・報酬にばらつきが残るプロンプト数が減るか精度が上がると、プール全体を未使用タスクに入れ替えます 📊 結果 ・Qwen3-VL-8Bの11ベンチマーク平均が57.77から61.05に上がりました。新規タスクは800件です ・毎ウィンドウ更新の60.64は3,200件で、4倍のタスクを使っています ・MiMo-VL-7Bでも59.08から60.71になりました 🔭 意義 検証スコアを使わずに更新時期を決められる点が実用的です。一方、各比較は1回の学習のみです。 #自己改善# #マルチモーダルAI#

Google Genie4は 単なるゲームAIじゃない 物理AIの 根幹進化を担う４つの技術ブレイクスルー 1. ネイティブ・マルチモーダル音響生成（Native Multimodal Audio） 映像と音の一体生成: 従来のワールドモデルでは映像のみを生成するか、後処理で効果音を付与するのが通例でした。Genie 4はリアルタイム世界シミュレーションとして初めてオーディオをネイティブ生成します。 物理環境音とインタラクティブな対話: 木々を揺らす風や打ち寄せる波といった環境音（アンビエント）だけでなく、作中の登場人物がユーザーの操作や周囲の事象にリアルタイムに反応して言葉を交わす「動的な対話（Interactive Dialogue）」をシミュレーション内部で同時に生成・適応させます。 2. 人物・キャラクター表現の飛躍的進化（Simulating People & Characters） 自然な身体動作と物理的相互作用: これまでのモデルで破綻しやすかった「人物の自然な呼吸・指先の動き・重心移動」や、群衆（混雑した駅のホームなど）の動きを有機的かつ物理的妥当性を持って再現します。 リアルタイム・ステアラブル（操作性）: 静止画やテキストの初期設定から生まれたキャラクターに対し、ユーザーのキーボード入力やテキスト指示を通じてリアルタイムに振る舞いや動きを誘導・制御できます。 3. Geminiファミリーとの統合アーキテクチャによる長期的整合性 Gemini Omniによる実世界グラウンディング: 視覚的な外観や現実世界の物理的挙動の基準（アンカー）として「Gemini Omni」を組み込み、フォトリアリズムと自然な運動を実現しています。 推論モデルによる一貫性・連続性の維持: 従来の動画生成で課題だった「時間が経つと背景や物体の位置が崩れる／矛盾する」問題を解決するため、Geminiの推論エンジンがシミュレーションの文脈を常時監視し、長時間の整合性（Coherence & Spatial Continuity）を保つ制御ループを担っています。 4. 自然言語によるリアルタイム環境改変（Real-time Steering） インラインでの動的変更: カメラの自由移動（キーボード操作等）だけでなく、シミュレーション実行中に自然言語で「天候を変える」「新しい物体・人物を追加する」といった指示を入力可能です。 文脈に合わせた自動調停: 入力されたテキスト指示をそのまま貼り付けるのではなく、Geminiが周囲のライティング、世界観、物理的整合性に矛盾が生じないようプロンプトを文脈適応させて世界に反映します。 技術変革がもたらす意義（AGI・ロボティクスへの応用） DeepMindは、世界を正しく理解しシミュレートする能力を「AGI（汎用人工知能）達成に向けた最重要ピース」と位置付けています。 Genie 4によって、単なるエンターテインメント（インタラクティブ体験の創出）にとどまらず、「実世界と同様の物理挙動・音響・人間との対話が存在する、無限かつ安全なシミュレーション環境」をオンデマンドに構築できるようになり、自律エージェントやロボティクスの大規模強化学習プラットフォームとしての活用が期待されています。

Google Genie4は 単なるゲームAIじゃない 物理AIの 根幹進化を担う４つの技術ブレイクスルー 1. ネイティブ・マルチモーダル音響生成（Native Multimodal Audio） 映像と音の一体生成: 従来のワールドモデルでは映像のみを生成するか、後処理で効果音を付与するのが通例でした。Genie 4はリアルタイム世界シミュレーションとして初めてオーディオをネイティブ生成します。 物理環境音とインタラクティブな対話: 木々を揺らす風や打ち寄せる波といった環境音（アンビエント）だけでなく、作中の登場人物がユーザーの操作や周囲の事象にリアルタイムに反応して言葉を交わす「動的な対話（Interactive Dialogue）」をシミュレーション内部で同時に生成・適応させます。 2. 人物・キャラクター表現の飛躍的進化（Simulating People & Characters） 自然な身体動作と物理的相互作用: これまでのモデルで破綻しやすかった「人物の自然な呼吸・指先の動き・重心移動」や、群衆（混雑した駅のホームなど）の動きを有機的かつ物理的妥当性を持って再現します。 リアルタイム・ステアラブル（操作性）: 静止画やテキストの初期設定から生まれたキャラクターに対し、ユーザーのキーボード入力やテキスト指示を通じてリアルタイムに振る舞いや動きを誘導・制御できます。 3. Geminiファミリーとの統合アーキテクチャによる長期的整合性 Gemini Omniによる実世界グラウンディング: 視覚的な外観や現実世界の物理的挙動の基準（アンカー）として「Gemini Omni」を組み込み、フォトリアリズムと自然な運動を実現しています。 推論モデルによる一貫性・連続性の維持: 従来の動画生成で課題だった「時間が経つと背景や物体の位置が崩れる／矛盾する」問題を解決するため、Geminiの推論エンジンがシミュレーションの文脈を常時監視し、長時間の整合性（Coherence & Spatial Continuity）を保つ制御ループを担っています。 4. 自然言語によるリアルタイム環境改変（Real-time Steering） インラインでの動的変更: カメラの自由移動（キーボード操作等）だけでなく、シミュレーション実行中に自然言語で「天候を変える」「新しい物体・人物を追加する」といった指示を入力可能です。 文脈に合わせた自動調停: 入力されたテキスト指示をそのまま貼り付けるのではなく、Geminiが周囲のライティング、世界観、物理的整合性に矛盾が生じないようプロンプトを文脈適応させて世界に反映します。 技術変革がもたらす意義（AGI・ロボティクスへの応用） DeepMindは、世界を正しく理解しシミュレートする能力を「AGI（汎用人工知能）達成に向けた最重要ピース」と位置付けています。 Genie 4によって、単なるエンターテインメント（インタラクティブ体験の創出）にとどまらず、「実世界と同様の物理挙動・音響・人間との対話が存在する、無限かつ安全なシミュレーション環境」をオンデマンドに構築できるようになり、自律エージェントやロボティクスの大規模強化学習プラットフォームとしての活用が期待されています。

🏠 テキストや画像で家具を指定するだけで、スタイルの揃った3D屋内シーンを自動生成。しかもMMGDreamer比で約85%高速です。 タイトル: FlowScene: Style-Consistent Indoor Scene Generation with Multimodal Graph Rectified Flow URL: 📝 概要 FlowSceneは、テキストと画像を融合したマルチモーダルなシーングラフから、高忠実度の3D屋内シーンを生成する手法です。配置・形状・テクスチャの3ブランチを、直線的なRectified Flowで同時に生成し、シーン全体でスタイルの一貫性を保ちます。 ❓ 解決する課題 言語駆動の検索型はオブジェクト単位の制御やスタイル一貫性に弱く、グラフベース型は高品質なテクスチャ生成が苦手でした。FlowSceneはこの両者の弱点を同時に解消します。 💡 方法論と提案手法 ・ノードがテキスト記述と画像特徴を融合できるマルチモーダルグラフを入力にします（テキストのみ・画像のみ・混在に対応） ・サンプリング中にノード情報を密に交換するInfoExchangeUnitで、個別条件と全体条件を両立させます ・配置（3Dボックス）、形状（VQ-VAE潜在）、テクスチャ（幾何にアンカー）を独立デノイザで生成します ・テクスチャは幾何を固定したまま外観だけをデノイズし、テキストのみのノードにもスタイル一貫したテクスチャを合成します 🎯 ユースケース インテリアデザインや製造での対話的なシーン設計、VR/ARコンテンツ制作、ロボティクスのシミュレーション環境づくりなどに使えます。 📊 実験結果 ・FID（寝室）が42.38→35.01とMMGDreamer比17.4%改善 ・CLIPScore 0.2386で全手法中最高、スタイル一貫性のユーザー評価も8.72/10 ・推論時間はテクスチャなしで6.83秒と、MMGDreamerの45.34秒より約85%高速 ・ナイトスタンドの最小マッチング距離を43.90%改善するなど、オブジェクト品質も向上しました #3DGeneration# #GenerativeAI#

AIに空間を「言葉で考えさせる」のは逆効果かもしれません🧭 見えない視点を頭の中で“想像”させる新しいアプローチの登場です。 タイトル: Imaginative Perception Tokens Enhance Spatial Reasoning in Multimodal Language Models URL: 🧭 概要 視覚言語モデル（VLM）の空間推論を強化する「Imaginative Perception Tokens（IPT、想像的知覚トークン）」の提案です。空間的な論理を言語に押し込めるのではなく、「異なる配置で何が見えるか」という知覚を中間表現として保持します。 ❓ 解決する課題 VLMは、見えていない視点からの見え方、遮蔽された経路、複数の部分観測の統合といった空間推論が苦手です。従来はテキストの思考連鎖で解こうとしましたが、視覚的な推論を言語だけに押し込めるのは無理があり、性能が頭打ちでした。 💡 方法論と提案手法 ・統合型VLMのBAGELをバックボーンに、IPTによる教師あり学習で訓練します ・3つのタスクを定式化：視点取得（PET）、経路追跡（PT）、多視点カウント（MVC） ・約20,000例のデータセットを構築（正解・回答・評価指標つき） 「もしこう動いたらこう見える」という知覚そのものを中間表現として扱うのが核心です。 📊 実験結果 ・多視点カウント（MVC）でIPT利用により精度が3.4%向上 ・経路追跡（PT）でクローズドソースモデルと競争力ある性能 ・IPT教師あり学習はテキスト思考連鎖（CoT）を上回る ・逆にテキストCoTは空間推論性能を大きく劣化させると判明 #空間推論# #マルチモーダルLLM#

🧠 「もう画面に映っていない情報」を覚えて行動できますか？ 最新のマルチモーダルLLMでも、神経衰弱や3D迷路でボロボロに崩れることが分かりました。 📰 タイトル: Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games 🔗 URL: 💡 概要 MLLMが「過去の見えない観測」を内部に保持して行動できるかを測る新ベンチマーク「RNG-Bench」の提案です。神経衰弱（Matching Pairs）と一人称視点の3D迷路という2つのゲームで、文脈内の信念状態トラッキングだけを切り出して評価します。 🔍 解決する課題 既存ベンチは状態を全部見せたり、エピソード後に「思い出して答える」だけを測りがちでした。本研究は記憶ミスがその後の観測を変えてしまう「思い出して行動する」閉ループ設定に踏み込み、より現実のエージェントに近い難しさを測ります。 🛠 方法論と提案手法 ・ゲームをPOMDP（部分観測マルコフ決定過程）として定式化し、履歴から信念状態を維持する力を要求 ・グリッドサイズ、視覚パターン、テキスト/画像モダリティで難易度を細かく制御 ・2モデルが同一盤面で戦うDuel、真の隠れ状態を注入するOracleを用意 ・通常時とOracle時を比べる「Memory Gap」指標で、忘却と判断ミスを切り分け 📊 ユースケース / 実験結果 10×10神経衰弱でGPT-5.4が62.3%、Gemini-3.1-Proが50.0%、Qwen3.5-397Bが25.3%。13×13迷路ではGemini-3.1-ProがSR50%で首位。Qwen3.5-397Bは4×4で90.6%→12×12で0.7%へ崩壊。行動履歴のテキストを消すとGPT-5.4は約75%性能低下し、履歴の長さより視覚認識が壁になると判明しました。 #マルチモーダルLLM# #AIエージェント#

製造業のAI活用、つまずきの本当の原因は「目（視覚）」ではなく「知識」でした🏭 18種類の最先端モデルを徹底検証して、その事実を突き止めた研究です。 タイトル: FORGE: Fine-grained Multimodal Evaluation for Manufacturing Scenarios URL: 🏭 概要 本研究は、製造現場でマルチモーダルLLM（MLLM）がどこまで実用に耐えるかを、厳密に測るための評価フレームワーク「FORGE」を提案しています。2D画像と3D点群（point cloud）を組み合わせ、型番などの細かいドメイン情報を付与した高品質なデータセットを構築し、18種類の最先端MLLMを横断的に評価しました。 ❓ 解決する課題 製造業はAI活用を急速に進めていますが、その性能を正しく測る基盤が追いついていませんでした。 ・製造現場の高品質なマルチモーダルデータ（実機画像や3D形状）は希少で、評価用データが不足しています ・既存データセットは、型番・構造的な欠陥・組立の正誤といった製造特有の細粒度な意味情報を欠いています そのため、現行のMLLM評価は実際の製造業の要求を反映できていませんでした。 💡 方法論と提案手法 FORGEは、現実的な条件で能力を測るために設計されています。 ・実世界の2D画像と3D点群を含む高品質なマルチモーダルデータで構成します ・正確な型番を含む、製造特有の細粒度ドメイン意味アノテーションを付与します ・評価する中核タスクは3つです ・ワークピース検証（対象部品が正しいものか） ・構造表面検査（表面の欠陥や状態の確認） ・組立検証（組み付けが正しく行われているか） 🌍 ユースケース / 実験結果 検証から、実務に直結する重要な知見が得られました。 ・評価したMLLM群の間で、性能に大きなギャップが存在することが判明しました ・従来の想定に反し、視覚的グラウンディング（画像中の対象を特定する力）はボトルネックの本質ではありませんでした ・真のボトルネックは「ドメイン固有知識の不足」であると結論づけられました ・この知見を裏付けるように、コンパクトな3Bパラメータのモデルを教師ありファインチューニングしたところ、未知の製造シナリオで最大90.8%の相対精度改善を達成しました 巨大な汎用モデルに頼るより、小型モデルを自社の現場データで鍛える方が、検査や品質管理で現実的な解になり得ます。 #製造業AI# #MLLM#

🗺️ 最先端のGPT-5でも、現実世界の空間タスクの成功率はわずか14.4%——。静止画を眺めて答えるだけでは測れない、AIエージェントの「能動的な空間推論」の弱さをあぶり出す新しいベンチマークが登場しました。 タイトル: SpatialWorld: Benchmarking Interactive Spatial Reasoning of Multimodal Agents in Real-World Tasks URL: 📝 概要 SpatialWorldは、マルチモーダルLLMが視覚のみの一人称視点で、3D環境を能動的に探索しながらタスクを解けるかを測るベンチマークです。屋内・屋外・デジタルゲームにわたる8つの異なるシミュレータを共通プロトコルで統合し、人手で作った760タスクで15の最先端モデルを評価しました。エージェントは事前に与えられた地図や正解の手順なしに、自分で見て、動いて、判断する必要があります。 ❓ 解決する課題 従来の空間推論ベンチマークは、静的なVQAや録画済み動画による受動的な評価に依存していました。しかしこれでは、エージェントが自ら視点を動かして視覚的な証拠を集め、部分的にしか見えない状況の中でその場で計画を立て直す、という現実世界に必要なインタラクティブな空間理解を測れません。静的なシーンを認識できることと、未知の空間で実際に動いて課題を解けることの間には、大きな隔たりがあったのです。 💡 方法論と提案手法 ・課題を視覚のみのPOMDP（部分観測マルコフ決定過程）として定式化します ・エージェントは自然言語のゴールと、ネイティブ解像度の一人称RGB画像1枚だけを受け取り、深度・地図・意味メタデータは一切与えられません ・行動はナビゲーション、視点制御、物体とのインタラクション、タスク完了を含むテキストベースの高レベルインターフェースで指示します ・屋内（AI2-THOR、ProcTHOR、VirtualHome）、屋外（CARLA、EmbodiedCity）、デジタルゲーム（Block3D、Snake3D、ルービックキューブ）の8バックエンドを統合します ・評価は途中の軌跡の一致ではなく、最終的な終端状態がゴールを満たしたかで判定し、人手で妥当性を確認します ・成功率に加え、人間の参照軌跡と比べたステップ効率も測ることで、効率の悪さも可視化します 🎯 ユースケース 家庭用ロボットや自律エージェントの空間能力を、実環境へ配備する前に統一的かつ公平に評価する基盤になります。ナビゲーションと物体操作を組み合わせた長期タスクのどこでつまずくのかを体系的に診断でき、空間推論モデルの改善に向けた厳密なテストベッドとして活用できます。 📊 実験結果 ・15の最先端モデルを評価し、物理タスクの成功率はGPT-5が14.4%、Qwen-3.5-397Bが12.2%、Gemini-3.1-Proが9.2%、Kimi-K2.5が9.2%にとどまりました ・デジタルゲームではGemini-3.1-Proが39.0%で最高、GPT-5が36.4%と続きました ・複雑さ別に見ると、インタラクションのみのタスクは平均50.2%だったのに対し、ナビゲーションのみは8.6%、両者を組み合わせた複合タスクはわずか4.2%まで急落しました ・成功率が近いモデルどうしでも効率スコアは大きく異なり、多くのモデルが試行錯誤に頼って動いている実態が明らかになりました ・環境ごとにモデルの順位が大きく入れ替わり、全カテゴリを支配する万能なモデルは存在しませんでした #AIエージェント# #SpatialReasoning#

IROS2026はJournal Transferを加えて、以下の5件を発表します。#IROS2026# 1. A. Mustafa, R. Hanai, I. G. Ramirez-Alpizar, F. Marc Arden Erich, R. Nakajo, Y. Domae, and T. Ogata: ForceMapping: learning visual-force features from vision for soft objects manipulation 2. A. Mustafa, R. Hanai, I. G. Ramirez-Alpizar, F. Marc Arden Erich, R. Nakajo, Y. Domae, and T. Ogata: Non-Prehensile Throwing: A Reinforcement Learning Perspective 3. S. Fujita, H. Ichiwara, S. Sugano, and T. Ogata: Energy-Score Stabilized Attentive Mixture-Density Policy: A Lightweight Approach to Multimodal Robot Motion 4. X. Cai, H. Ichiwara, H. Hiruma, M. Yoshikawa, H. Ito, and T. Ogata: Stereo Multistage Spatial Attention for Real-Time Mobile Manipulation Under Visual Scale Variation and Disturbances 5. T. Tsukakoshi, T. Miyake, T. Ogata, Y. Wang, T. Akaishi, and S. Sugano: Close-Fitting Dressing Assistance Based on State Estimation of Feet and Garments with Semantic-based Visual Attention