テキストで指示し、カメラも動かせる世界モデルを、単一のRTX 4090で動かす設計まで示した論文です🎮
Hy-Nomas: Towards Free-form Interactive World Generation
Tencentのチームによる、8Bの自己回帰型動画ワールドモデルです。自由形式のテキスト、連続カメラ制御、マルチターンの記憶を1つのモデルで扱います。
注目ポイントは3つです。
🧠 アクション対応の因果アテンション
各セグメントのテキストを、後続からも見える記述と、元の時間窓に限定されるアクションに分けます。アクションの順序の誤りや、別のセグメントでの繰り返しを抑える狙いです。
⚡ 4ステップ蒸留と軽量な推論
サンプリングを100から4関数評価に減らし、INT8やスパースアテンションを併用します。100秒の動画(1280×704、24FPS)がRTX 4090のピークメモリ20.53GiBで生成できます。
📊 テキスト制御で大きく優位
人手評価のプロンプト追従で、LingBot-World v2に対し75.0%勝ち、8.3%負けです。一方、空間記憶はGenie 3に及びません。
インタラクティブな世界生成の、設計と評価をまとめて見られる一本です。
#
ワールドモデル# #
動画生成#