ゲームの世界モデルはピクセルを直接生成しがちですが、長く回すほど姿勢や幾何がズレていきます。Marionetteは「正確さが要る部分」を潔く手放しました。
タイトル: Marionette: Predicting World States, Rendering Geometry, Painting Appearance
URL:
幾何・遮蔽・運動は決定的レンダラーに委ね、ニューラルには見た目だけを描かせる世界モデルです。注目ポイントは3つ。
🎮 注目ポイント1: 明示的な276次元の世界状態を予測
ピクセルではなく、関節・ルート軌跡・回転からなる3D状態を2段階の自己回帰で予測します。制御は行動トークンを上書きするだけ(プレイヤーのボタン押下と同じ)。誤った行動を強制するとポーズが約31%ズレる=制御が確かに効いている証拠です。
📐 注目ポイント2: ゼロパラメータの決定的レンダラー
6つの閉形式演算だけで状態をポーズ制御動画へ変換。ワールド整合性・遮蔽順序・計量スケールが「構成上」保証されます。長期の破綻は、外見モデルを再訓練せず地形コライダーなどのルールで修復でき、貫通を66%削減しました。
🎨 注目ポイント3: 見た目だけを担う動画拡散
Wan2.2-Fun-5Bベースの拡散が、正確な幾何の上に写実的なRGBを合成。予測状態経由でもFVDは831(記録状態799、ピクセル自己回帰は975)で、忠実度の低下は検出されませんでした。
正確さは決定的計算に、見た目はニューラルに。世界モデルの分業の good design です。
#
WorldModels# #
GameAI#