ロボット操作のビデオ世界モデルで「本当に指定した動作をしているか」を検証できるモデルが登場しました。
DreamX-Phi 1.0: Action-Conditioned Video World Model for Robotic Manipulation
Wan2.2-TI2V-5Bを基盤に、初期フレームと言語指示、両腕の行動軌道から将来フレームを高精度に予測するビデオ世界モデルです。WorldArena 2.0 Track 1で31チーム中1位(EWMScore-P: 60.65)を達成しました。
🔷 注目ポイント1: PRoPE — SE(3)を直接アテンションへ注入
行動を汎用トークンに変換する従来手法を捨て、エンドエフェクタの位置・回転行列・グリッパー状態をSE(3)変換としてアテンション機構に直接組み込みます。アームごとにヘッドをパーティションし、Kronecker積でトークンワイズ変換を適用することで、グローバル座標系への依存を排除。制御性スコア98.55という驚異的な数値を叩き出しています。
🔶 注目ポイント2: 深度ブランチ + 物体中心監督で「見た目」以上の精度を
RGB損失だけでは表面順序やオブジェクト範囲を制約できないという根本問題に、2段構えで対処します。軽量な深度ブランチ(最後のMブロックを複製した一方向クロスアテンション)が幾何学的整合性を担保し、SAM3マスクと凍結V-JEPAティーチャーのグラム行列制約が操作物体の時間的一貫性を保ちます。静的背景が大きなロボット映像において、接触近傍のエラーを損失関数に確実に反映させる仕組みです。
🟣 注目ポイント3: DMD蒸留で多ステップを少ステップへ
KL divergenceと非飽和GAN損失を組み合わせた分布マッチング蒸留(DMD)により、推論時のステップ数を大幅に削減。Ego4D・AgiBot World 2026・RoboTwin 2.0など合計約6,000時間超の多様なデータで学習されており、広範な視覚事前知識と行動接地の両立を実現します。
ロボット世界モデルがついに「リアルに見える」から「正確に動く」へ進化した一歩です。
#
ロボティクス# #
世界モデル#