テキストで指示し、カメラも動かせる世界モデルを、単一のRTX 4090で動かす設計まで示した論文です🎮 Hy-Nomas: Towards Free-form Interactive World Generation Tencentのチームによる、8Bの自己回帰型動画ワールドモデルです。自由形式のテキスト、連続カメラ制御、マルチターンの記憶を1つのモデルで扱います。 注目ポイントは3つです。 🧠 アクション対応の因果アテンション 各セグメントのテキストを、後続からも見える記述と、元の時間窓に限定されるアクションに分けます。アクションの順序の誤りや、別のセグメントでの繰り返しを抑える狙いです。 ⚡ 4ステップ蒸留と軽量な推論 サンプリングを100から4関数評価に減らし、INT8やスパースアテンションを併用します。100秒の動画(1280×704、24FPS)がRTX 4090のピークメモリ20.53GiBで生成できます。 📊 テキスト制御で大きく優位 人手評価のプロンプト追従で、LingBot-World v2に対し75.0%勝ち、8.3%負けです。一方、空間記憶はGenie 3に及びません。 インタラクティブな世界生成の、設計と評価をまとめて見られる一本です。 #ワールドモデル# #動画生成#

教師が「教えたいトピック」を打ち込むだけで、その場でインタラクティブな学習シミュレーションが生成される。そんな未来をGoogle Researchが実験しています。 タイトル: The future of practice: Enabling teachers to create learning interactives with generative UI URL: これまでの対話型シミュレーションは制作コストが高く数が限られていましたが、今回の取り組みにはとくに注目したいポイントが3つあります。 🧩 生成UIによるオンデマンド作成 教育向けに微調整されたLearnLMと生成UI（GenUI）技術を組み合わせ、任意のトピックに対して難易度が段階的に上がるレベル構成のシミュレーションをその場で構築します。導入・公式集・複数段階のヒント・個別フィードバックまで、教師が1対1で行うような足場かけを自動生成する点が特徴です。 🤖 エージェント的な品質保証ループ 生成物は教育学的基準・機械的基準・ビジュアル基準の3観点で自己修正されます。実際にChromeインスタンスを開いてボタン操作や解答可能性を検証する「agentic」なテストを組み込んでいるのが面白いところです。 📊 教師による高評価と実績 英国では40個のSTEM学習インタラクティブが「good or excellent」評価、米国では12人の教師が10点満点中平均8点を付けました。物理・化学・生物・数学にわたる30以上のインタラクティブが既に公開ライブラリで利用可能です。 「学習は観客としてではなく参加してこそ成立する」という原則を、生成AIでスケールさせる試みだと言えそうです。 #生成AI# #教育テック#

崩れた道路や洪水に埋もれる悪路すら進むトラックシミュレータ「Road Kings」，2027年3月11日に発売決定 「MudRunner」や「SnowRunner」などを手掛けるSaber Interactiveの新作

操作に応じて映像を生み出す「動画ワールドモデル」、その実力を公平に測る統一ベンチマークが登場しました🎮 タイトル: WBench: A Comprehensive Multi-turn Benchmark for Interactive Video World Model Evaluation URL: 🎮 概要 インタラクティブな動画ワールドモデルを包括的に評価する統一フレームワークです。289テストケース・1,058インタラクションターンで、テキスト・6-DoF姿勢・離散アクションという異なる操作方式のモデルを同じ土俵で比較できます。 ❓ 解決する課題 インタラクティブなワールドモデルは急速に進歩する一方、能力を体系的に測る基準がありませんでした。既存ベンチマークは一部しかカバーできず、入力方式がモデルごとに違うため横並び比較も困難でした。 💡 方法論と提案手法 評価は5つの次元で行います。 ・映像品質 ・設定への忠実性 ・インタラクションへの忠実性 ・一貫性 ・物理法則への整合性 タスクはナビゲーション・被写体アクション・イベント編集・視点切り替えの4種。専門視覚モデルと大規模マルチモーダルモデルを組み合わせた22の自動指標を、人間の判断と照合して検証しています。 📊 実験結果 最先端20モデルを分析した結果、すべての次元で強いモデルは1つも存在しないことが判明。各アプローチに特徴的な強み・弱みと、共通の難題が浮かび上がりました。 #ワールドモデル# #ベンチマーク#

TGS 2025の4Gamerブースでは，今回もコスプレイヤーの撮影会を実施。Paradox Interactiveの新作「Europa Universalis V」や「Stellaris」の新DLCも体験可能［TGS2025］ コスプレイヤーの撮影タイムは，本記事のスケジュール表で確認を

Google Genie4は 単なるゲームAIじゃない 物理AIの 根幹進化を担う４つの技術ブレイクスルー 1. ネイティブ・マルチモーダル音響生成（Native Multimodal Audio） 映像と音の一体生成: 従来のワールドモデルでは映像のみを生成するか、後処理で効果音を付与するのが通例でした。Genie 4はリアルタイム世界シミュレーションとして初めてオーディオをネイティブ生成します。 物理環境音とインタラクティブな対話: 木々を揺らす風や打ち寄せる波といった環境音（アンビエント）だけでなく、作中の登場人物がユーザーの操作や周囲の事象にリアルタイムに反応して言葉を交わす「動的な対話（Interactive Dialogue）」をシミュレーション内部で同時に生成・適応させます。 2. 人物・キャラクター表現の飛躍的進化（Simulating People & Characters） 自然な身体動作と物理的相互作用: これまでのモデルで破綻しやすかった「人物の自然な呼吸・指先の動き・重心移動」や、群衆（混雑した駅のホームなど）の動きを有機的かつ物理的妥当性を持って再現します。 リアルタイム・ステアラブル（操作性）: 静止画やテキストの初期設定から生まれたキャラクターに対し、ユーザーのキーボード入力やテキスト指示を通じてリアルタイムに振る舞いや動きを誘導・制御できます。 3. Geminiファミリーとの統合アーキテクチャによる長期的整合性 Gemini Omniによる実世界グラウンディング: 視覚的な外観や現実世界の物理的挙動の基準（アンカー）として「Gemini Omni」を組み込み、フォトリアリズムと自然な運動を実現しています。 推論モデルによる一貫性・連続性の維持: 従来の動画生成で課題だった「時間が経つと背景や物体の位置が崩れる／矛盾する」問題を解決するため、Geminiの推論エンジンがシミュレーションの文脈を常時監視し、長時間の整合性（Coherence & Spatial Continuity）を保つ制御ループを担っています。 4. 自然言語によるリアルタイム環境改変（Real-time Steering） インラインでの動的変更: カメラの自由移動（キーボード操作等）だけでなく、シミュレーション実行中に自然言語で「天候を変える」「新しい物体・人物を追加する」といった指示を入力可能です。 文脈に合わせた自動調停: 入力されたテキスト指示をそのまま貼り付けるのではなく、Geminiが周囲のライティング、世界観、物理的整合性に矛盾が生じないようプロンプトを文脈適応させて世界に反映します。 技術変革がもたらす意義（AGI・ロボティクスへの応用） DeepMindは、世界を正しく理解しシミュレートする能力を「AGI（汎用人工知能）達成に向けた最重要ピース」と位置付けています。 Genie 4によって、単なるエンターテインメント（インタラクティブ体験の創出）にとどまらず、「実世界と同様の物理挙動・音響・人間との対話が存在する、無限かつ安全なシミュレーション環境」をオンデマンドに構築できるようになり、自律エージェントやロボティクスの大規模強化学習プラットフォームとしての活用が期待されています。

Google Genie4は 単なるゲームAIじゃない 物理AIの 根幹進化を担う４つの技術ブレイクスルー 1. ネイティブ・マルチモーダル音響生成（Native Multimodal Audio） 映像と音の一体生成: 従来のワールドモデルでは映像のみを生成するか、後処理で効果音を付与するのが通例でした。Genie 4はリアルタイム世界シミュレーションとして初めてオーディオをネイティブ生成します。 物理環境音とインタラクティブな対話: 木々を揺らす風や打ち寄せる波といった環境音（アンビエント）だけでなく、作中の登場人物がユーザーの操作や周囲の事象にリアルタイムに反応して言葉を交わす「動的な対話（Interactive Dialogue）」をシミュレーション内部で同時に生成・適応させます。 2. 人物・キャラクター表現の飛躍的進化（Simulating People & Characters） 自然な身体動作と物理的相互作用: これまでのモデルで破綻しやすかった「人物の自然な呼吸・指先の動き・重心移動」や、群衆（混雑した駅のホームなど）の動きを有機的かつ物理的妥当性を持って再現します。 リアルタイム・ステアラブル（操作性）: 静止画やテキストの初期設定から生まれたキャラクターに対し、ユーザーのキーボード入力やテキスト指示を通じてリアルタイムに振る舞いや動きを誘導・制御できます。 3. Geminiファミリーとの統合アーキテクチャによる長期的整合性 Gemini Omniによる実世界グラウンディング: 視覚的な外観や現実世界の物理的挙動の基準（アンカー）として「Gemini Omni」を組み込み、フォトリアリズムと自然な運動を実現しています。 推論モデルによる一貫性・連続性の維持: 従来の動画生成で課題だった「時間が経つと背景や物体の位置が崩れる／矛盾する」問題を解決するため、Geminiの推論エンジンがシミュレーションの文脈を常時監視し、長時間の整合性（Coherence & Spatial Continuity）を保つ制御ループを担っています。 4. 自然言語によるリアルタイム環境改変（Real-time Steering） インラインでの動的変更: カメラの自由移動（キーボード操作等）だけでなく、シミュレーション実行中に自然言語で「天候を変える」「新しい物体・人物を追加する」といった指示を入力可能です。 文脈に合わせた自動調停: 入力されたテキスト指示をそのまま貼り付けるのではなく、Geminiが周囲のライティング、世界観、物理的整合性に矛盾が生じないようプロンプトを文脈適応させて世界に反映します。 技術変革がもたらす意義（AGI・ロボティクスへの応用） DeepMindは、世界を正しく理解しシミュレートする能力を「AGI（汎用人工知能）達成に向けた最重要ピース」と位置付けています。 Genie 4によって、単なるエンターテインメント（インタラクティブ体験の創出）にとどまらず、「実世界と同様の物理挙動・音響・人間との対話が存在する、無限かつ安全なシミュレーション環境」をオンデマンドに構築できるようになり、自律エージェントやロボティクスの大規模強化学習プラットフォームとしての活用が期待されています。

🖐️ AIエージェントが「指差す」だけでなく、形を描き、動きを模倣し、発言を強調する手を持ったらどうなるでしょうか。XR空間でのエージェント会話に関する研究です。 タイトル: AgentHands: Generating interactive hand gestures for spatially grounded agent conversations in XR URL: ❓ なぜ音声だけのエージェントでは足りないのでしょうか 💡 従来の2Dバウンディングボックス表示はフラットな画面向けで、Android XRのようなイマーシブ環境には合いません。人間の会話で手が果たす「指差す・描写する・強調する」役割が抜け落ちてしまいます。 ❓ どうやってジェスチャーを生成しているのでしょうか 💡 環境認識モジュールが物体を3Dレジストリに登録し、LLMがユーザーの発話に応じて「GestureEvent」を生成。ワード単位のタイムスタンプでTTSとアニメーションを同期させ、発話と手の動きがぴったり合った共話ジェスチャーを実現しています。 ❓ 実際に効果はあったのでしょうか 💡 12名の被験者内比較研究で、蘭のケアや3Dプリンタ操作タスクを実施したところ、物体の位置特定や方向参照が有意に容易になり(p<0.05)、複雑な手順のフォローもしやすくなったと報告されています。安全警告のジェスチャーと視覚効果の組み合わせも高く評価されました。 ❓ ユーザーはどう感じたのでしょうか 💡 「パートナーが導いてくれているような感覚」という声があり、ツール検索的な体験から体現化された対話へと感覚がシフトしたことが分かっています。 #XR# #AIエージェント#

🗺️ 最先端のGPT-5でも、現実世界の空間タスクの成功率はわずか14.4%——。静止画を眺めて答えるだけでは測れない、AIエージェントの「能動的な空間推論」の弱さをあぶり出す新しいベンチマークが登場しました。 タイトル: SpatialWorld: Benchmarking Interactive Spatial Reasoning of Multimodal Agents in Real-World Tasks URL: 📝 概要 SpatialWorldは、マルチモーダルLLMが視覚のみの一人称視点で、3D環境を能動的に探索しながらタスクを解けるかを測るベンチマークです。屋内・屋外・デジタルゲームにわたる8つの異なるシミュレータを共通プロトコルで統合し、人手で作った760タスクで15の最先端モデルを評価しました。エージェントは事前に与えられた地図や正解の手順なしに、自分で見て、動いて、判断する必要があります。 ❓ 解決する課題 従来の空間推論ベンチマークは、静的なVQAや録画済み動画による受動的な評価に依存していました。しかしこれでは、エージェントが自ら視点を動かして視覚的な証拠を集め、部分的にしか見えない状況の中でその場で計画を立て直す、という現実世界に必要なインタラクティブな空間理解を測れません。静的なシーンを認識できることと、未知の空間で実際に動いて課題を解けることの間には、大きな隔たりがあったのです。 💡 方法論と提案手法 ・課題を視覚のみのPOMDP（部分観測マルコフ決定過程）として定式化します ・エージェントは自然言語のゴールと、ネイティブ解像度の一人称RGB画像1枚だけを受け取り、深度・地図・意味メタデータは一切与えられません ・行動はナビゲーション、視点制御、物体とのインタラクション、タスク完了を含むテキストベースの高レベルインターフェースで指示します ・屋内（AI2-THOR、ProcTHOR、VirtualHome）、屋外（CARLA、EmbodiedCity）、デジタルゲーム（Block3D、Snake3D、ルービックキューブ）の8バックエンドを統合します ・評価は途中の軌跡の一致ではなく、最終的な終端状態がゴールを満たしたかで判定し、人手で妥当性を確認します ・成功率に加え、人間の参照軌跡と比べたステップ効率も測ることで、効率の悪さも可視化します 🎯 ユースケース 家庭用ロボットや自律エージェントの空間能力を、実環境へ配備する前に統一的かつ公平に評価する基盤になります。ナビゲーションと物体操作を組み合わせた長期タスクのどこでつまずくのかを体系的に診断でき、空間推論モデルの改善に向けた厳密なテストベッドとして活用できます。 📊 実験結果 ・15の最先端モデルを評価し、物理タスクの成功率はGPT-5が14.4%、Qwen-3.5-397Bが12.2%、Gemini-3.1-Proが9.2%、Kimi-K2.5が9.2%にとどまりました ・デジタルゲームではGemini-3.1-Proが39.0%で最高、GPT-5が36.4%と続きました ・複雑さ別に見ると、インタラクションのみのタスクは平均50.2%だったのに対し、ナビゲーションのみは8.6%、両者を組み合わせた複合タスクはわずか4.2%まで急落しました ・成功率が近いモデルどうしでも効率スコアは大きく異なり、多くのモデルが試行錯誤に頼って動いている実態が明らかになりました ・環境ごとにモデルの順位が大きく入れ替わり、全カテゴリを支配する万能なモデルは存在しませんでした #AIエージェント# #SpatialReasoning#

🎮 「AIエージェントは、実際のゲームエンジンで“遊べるゲーム”を最後まで作れるのか？」——この問いに正面から答えるベンチマークが登場しました。結果は、最強でも成功率41%という厳しいものでした。 タイトル: GameCraft-Bench: Can Agents Build Playable Games End-to-End in a Real Game Engine? URL: 🎮 概要 GameCraft-Benchは、自然言語の仕様から実エンジン（Godot 4）上で完成・起動・プレイ可能なゲームをエンドツーエンドで作れるかを評価するベンチマークです。15ジャンル・計140タスクで構成されています。 ❓ 解決する課題 これまでのコーディング評価は「コードが正しいか」が中心でした。 ・ゲームの良し悪しは、実際に動かしたときの挙動で決まる ・既存ベンチマークは実エンジン上の「遊べる成果物」を評価できていなかった 💡 方法論と提案手法 3つの評価原則を立てています。 ・Engine Grounding：実エンジンGodot 4上で開発（ヘッドレス実行で再現可能な自動テスト） ・Artifact Completeness：起動可能で自己完結したプロジェクトを提出。起動できなければ0点（Build Gate） ・Interactive Verification：エージェントが入力トレース（マウス/キー操作列）を提出し、検証器がGodotで再生して動画化、GPT-5.5がルーブリックで採点 採点はCore Mechanics・Content Depth・Functional Visuals・Art & Presentationの4観点で重み付けします。 🎯 ユースケース コーディングエージェントを「コードの正しさ」ではなく「遊べる成果物を作り切れるか」で測れます。自動でプレイ検証まで回るため、ゲーム生成やUI生成エージェントの実力評価に使えます。 📊 実験結果 ・最高はClaude Opus-4.7で41.46%、GPT-5.5が39.49%、多くは40%未満 ・Core Mechanicsは比較的強い（上位で約55%）が、Art & Presentationが最も弱い（約36%） ・スクリーンショットで確認を重ねるエージェントほど好成績。一方でツール使用量と最終スコアの相関はほぼゼロ（r=+0.016）で、build→replay→evaluateのループを閉じることが鍵でした #AIエージェント# #ゲーム生成#