TL;DR: 動画を「隠れた世界の不完全な射影」と見なし、動画AIの研究を Reading・Writing・Sharing・Interacting の4操作で整理したサーベイです。
タイトル: Reading, Writing, Sharing, and Interacting with the World through Video
URL:
ポイント
・👁️ Reading:動画から意味・空間・時間・物理・因果を推定する理解
・🎬 Writing:テキストや画像、カメラ軌道などの条件から動画を生成
・🔗 Sharing:理解と生成を、共有のトークンや目的関数で統合
・🕹️ Interacting:行動を与えて状態の遷移を予測する、閉ループのワールドモデル
・🎞️ 時間的コヒーレンス(隣接フレームの整合)と世界の一貫性(成り立つ世界の軌道と両立)は別物と指摘
・🪜 証拠のはしご:もっともらしい出力から、意思決定での有用性までの4段階で主張を評価
研究の重心が、見た目の忠実度から持続する状態と物理・因果の妥当性へ移っているという見立てが参考になります。
#
ワールドモデル# #
動画生成#