動画生成が長くなるほど、過去のどのフレームを覚えておくべきかが難しくなります。「今に似ているか」ではなく「これから必要になるか」で選ぶ発想が登場しました。 タイトル: FrameMorrow: Future-guided Frame Selection with Prospective Tokens for Long-Horizon Video Generation URL: 📝 概要 過去フレームの選択を「現在との類似度」ではなく「未来の情報ニーズとの関連性」で行う手法FrameMorrowを提案。実際の未来フレームを生成せず、未来に重要になりうる情報を予測する「展望トークン」を使います。 ❗ 解決する課題 既存手法は直近のコンテンツに似たフレームを残しますが、これは近視眼的です。視覚的に似ているだけのフレームは今後の生成には役立たないことが多く、長編動画の一貫性が崩れがちでした。 🛠️ 方法論・提案手法 凍結した視覚エンコーダ（DINOv2）を使い、学習可能な射影とアテンション機構だけで展望トークンを自己回帰的に予測。実際に実現した未来フレームとの類似度を教師信号とする「未来接地ランキング蒸留」で学習します。生成器は凍結したまま、選択した明示的なフレームをアダプタ経由で渡すプラグアンドプレイ設計により、オープンソースモデルだけでなくSeedance 2.0やKling O3のようなクローズドソースAPIにも適用可能です。 📊 実験結果 5つのベンチマーク・11モデルで評価し、インタラクティブ生成では一貫性が84.95→89.30、アクション条件付きワールドモデルYuMe 1.5ではアクション整合性0.883→0.912に改善。ユーザースタディでも一貫性の選好率62.7%（ネイティブモデル16.7%）と大差で選ばれました。 #動画生成# #AI研究#