🎬 蒸留された自己回帰の動画モデルは速い一方で、人間の好みからズレがちです。再蒸留も逆プロセスの展開も使わず、「順プロセス」で強化学習アラインメントを行うAstrolabeが、その難題に答えます。 タイトル: Astrolabe: Steering Forward-Process Reinforcement Learning URL: 📝 概要 Astrolabeは、蒸留された自己回帰（AR）動画モデルを人間の視覚的な好みに整合させる強化学習フレームワークです。最大の特徴は、従来の逆プロセス最適化ではなく、順プロセス（forward-process）でRLを行う点にあります。全53ページ・37図の大規模な研究です。 ❓ 解決する課題 蒸留AR動画モデルは効率的なストリーミング生成に向く一方、人間の好みと乖離しやすいという弱点があります。さらに既存のRLは、こうしたアーキテクチャに自然には合いません。一般に、高コストな再蒸留か、ソルバー結合の逆プロセス最適化のいずれかを必要とし、どちらも重くスケールしにくいものでした。 💡 方法論と提案手法 3つの工夫から成ります。 ・負例認識の微調整：推論の終端で正例と負例を対比させ、逆プロセスを展開せずに、暗黙的なポリシー改善の方向を確立します ・ストリーミング学習：ローリングKVキャッシュでシーケンスを段階的に生成し、RL更新は局所的なクリップウィンドウにのみ適用、長距離の一貫性は先行コンテキストへの条件付けで維持します ・複数報酬の目的関数：不確実性を考慮した選択的正則化と動的な参照更新を統合し、報酬ハッキング（見かけのスコアだけ上げる崩壊）を緩和します 🎯 ユースケース リアルタイム・ストリーミングな動画生成で、効率的な蒸留モデルを速さを保ったまま好みへ整合させたい場面に向きます。複数の蒸留AR動画モデルに適用でき、推論の軽さを犠牲にせずに品質を底上げできます。 📊 意義と結果 ・再蒸留や逆プロセス展開という重い経路を避けることで、計算効率のボトルネックに対処します ・順プロセスでの負例認識・ストリーミング更新・報酬ハッキング対策を組み合わせ、堅牢でスケーラブルなアラインメント解を提供します ・複数の蒸留ARモデルにわたって有効性が示され、詳細な定量評価とアブレーションを含みます #VideoGeneration# #ReinforcementLearning#

商品や人物の動画を、ぐるっと360°回しても「同じもの」のまま生成できるでしょうか🔄 OmniShowcase: Omnidirectional Subject-Consistent Video Generation from Multi-View Images 4枚のマルチビュー参照画像から、被写体の一貫性を保った周回動画を生成する手法です。 🧱 注目ポイント1: 3D整合なデータを自動合成 同じ3Dメッシュから、周回ターゲットと90°間隔の4つの参照ビューを描画します。背景は動画インペイントで生成し、各段階をVLMでゲートします。キュレーション費用は合計約120ドルで、約4,000本のShowcase-4Kとして公開予定です。 📐 注目ポイント2: 法線マップを「文脈」として渡す 4枚の参照から3D Gaussianを作り、法線のターンテーブルをWan2.1にLoRAで与えます。ターゲットとのフレーム単位の対応付けが不要で、参照を1枚から4枚に増やすとDINOが0.702から0.799に上がります。 📊 注目ポイント3: 3D指標で大差 ShowcaseBenchで3DreamBoothと比べ、GT-CDは0.1717から0.0824、MEt3Rは0.325から0.190へ改善しました。ユーザースタディでは各基準で70.9〜79.4%の票を獲得しました。 2D参照を増やすより3Dジオメトリが効く、という示唆が得られます。ただし非剛体は苦手です。 #動画生成# #コンピュータビジョン#

🎬 「見た目はリアルでも、タスクを達成できているか？」——ビデオ生成の評価がついに結果志向へ進化します。 SemComp-Bench: Benchmarking Semantic Task Completion in Video Generation 💡 概要 参照画像から「料理を作る」「植物を剪定する」などのタスクを達成するビデオを生成する際、既存モデルは手順の再現には長けていますが「最終状態をきちんと達成できているか」の評価が欠けていました。SemComp-Bench は6ドメイン・1,273件のデータセットと、VLM（Doubao-Seed-1.8）を用いた二軸評価フレームワークを導入し、この盲点を埋めます。 ⚠️ 解決する課題 既存ベンチマークは外観の一致性や中間手順を重視し、「タスクの結果達成」と「参照画像との意味論的整合性の維持」を同時に評価する基準がありませんでした。 🔬 評価フレームワーク：2つの独立した次元 ・OA（Outcome Achievement）スコア: 結果実現・意味論的グラウンディング・エンティティ一貫性・視覚的連続性の4基準をすべて通過することが必要 ・GR（Generation Reliability）スコア: 物理的整合性・視覚明瞭度・アーティファクト欠如など5基準の平均 📊 実験結果（詳細指示での成績） ・OA最高: HunyuanVideo-1.5-720P が37.8%（最高でも4割未満） ・GR最高: Seedance 2.0 が91.8%——だがOAは20.0%（4位） ・T2V（テキストのみ）のOAはわずか0.6〜5.0%: 視覚的参照が不可欠 ・最大のボトルネック: Within-Scene Spatiotemporal Coherence（0.328〜0.739） → OAとGRは独立した能力であり、「綺麗に生成できる」ことと「タスクを達成できる」ことは別問題です。 #動画生成# #ベンチマーク#

🎬 参照画像の被写体を保ったまま、実写⇔ファンタジーのドメインをまたいで動画化できる被写体駆動T2Vです。 タイトル: DomainShuttle: Freeform Open Domain Subject-driven Text-to-video Generation URL: 被写体の「忠実度」と「スタイル適応の柔軟性」を両立させたDomainShuttle。注目したい3点を紹介します。 🧬 Domain-MoT 動画と参照画像を独立2ブランチで処理し、参照側は時間に加えてドメイン属性(実在人物/物体/背景/ファンタジー)で変調するDomain-aware AdaLNを採用。テキストのクロスアテンションは凍結し、ベースモデルの言語誘導力を保ちます。 📐 Video-Reference DualRoPE 参照トークンを動画トークンとは別のRoPE空間に割り当て、被写体レベルの精密な空間制御を実現。動画は時間インデックス1から、参照は0固定で、複数被写体や同一被写体の複数画像を位置オフセットで整理します。 🔗 Cross-Pair Consistent Loss 同一タイムステップで2種類の参照セットを使って学習し、単一フレームへの過学習を抑制。無関係なビジュアル属性に左右されない被写体本来の特徴を抽出します。 クロスドメイン被写体一貫性はCD-Score 0.861でSOTA比+18.7%(Kling 1.6は0.725)。実写⇔ファンタジーの作風変換に強い、実用性の高い一本だと感じます。 #動画生成# #生成AI#

「人間によるイラスト × 人間による音楽 x AI」 歌と映像で物語を紡ぐプロジェクト
Marimosty（まりもすてぃ） うやむや 02: ボーカル Voice: marimo Illustration: Mini Tadokoro (@minimilk) Music & Production: Hiroshi Sekita (@fireflower) Video Generation: Seedance 2.0 Video Editing: Wondershare Filmora 🎬YouTube link in the reply↓

TL;DR: 動画生成AIが複数のショットをまたいで「同じ場所」「同じ出来事」を一貫して描けるようにする、世界状態を中心に据えたフレームワークATASが登場しました。 タイトル: Any Time, Any Space: A World-State-Centric Framework for Agentic Video Generation URL: ポイント 🗺️ シーンメモリ（静的な空間構造）とイベントメモリ（動的な出来事）を分離して保持 🎬 脚本を位置・カメラ・時刻付きのショット要求へ再帰的にコンパイル ✅ 検証に通った観測だけを世界状態に反映し、失敗したショットの影響が後続に伝播しない設計 📈 4つの異なる動画生成バックボーン全てで最高スコアを達成 🧪 空間再訪のPSNR-Cで15.968、イベント再現の同一性スコアで0.750を記録 🙋 人間評価では脚本忠実性4.40/5.0・キャラクター一貫性4.22/5.0と全6項目で最高評価 品質を上げるために1ストーリーあたりの実行時間が約1.25倍に増える、というトレードオフも正直に示されているのが好印象です。 #動画生成AI# #AIエージェント#

TL;DR: 動画生成AIが複数のショットをまたいで「同じ場所」「同じ出来事」を一貫して描けるようにする、世界状態を中心に据えたフレームワークATASが登場しました。 タイトル: Any Time, Any Space: A World-State-Centric Framework for Agentic Video Generation URL: ポイント 🗺️ シーンメモリ（静的な空間構造）とイベントメモリ（動的な出来事）を分離して保持 🎬 脚本を位置・カメラ・時刻付きのショット要求へ再帰的にコンパイル ✅ 検証に通った観測だけを世界状態に反映し、失敗したショットの影響が後続に伝播しない設計 📈 4つの異なる動画生成バックボーン全てで最高スコアを達成 🧪 空間再訪のPSNR-Cで15.968、イベント再現の同一性スコアで0.750を記録 🙋 人間評価では脚本忠実性4.40/5.0・キャラクター一貫性4.22/5.0と全6項目で最高評価 品質を上げるために1ストーリーあたりの実行時間が約1.25倍に増える、というトレードオフも正直に示されているのが好印象です。 #動画生成AI# #AIエージェント#

動画生成が長くなるほど、過去のどのフレームを覚えておくべきかが難しくなります。「今に似ているか」ではなく「これから必要になるか」で選ぶ発想が登場しました。 タイトル: FrameMorrow: Future-guided Frame Selection with Prospective Tokens for Long-Horizon Video Generation URL: 📝 概要 過去フレームの選択を「現在との類似度」ではなく「未来の情報ニーズとの関連性」で行う手法FrameMorrowを提案。実際の未来フレームを生成せず、未来に重要になりうる情報を予測する「展望トークン」を使います。 ❗ 解決する課題 既存手法は直近のコンテンツに似たフレームを残しますが、これは近視眼的です。視覚的に似ているだけのフレームは今後の生成には役立たないことが多く、長編動画の一貫性が崩れがちでした。 🛠️ 方法論・提案手法 凍結した視覚エンコーダ（DINOv2）を使い、学習可能な射影とアテンション機構だけで展望トークンを自己回帰的に予測。実際に実現した未来フレームとの類似度を教師信号とする「未来接地ランキング蒸留」で学習します。生成器は凍結したまま、選択した明示的なフレームをアダプタ経由で渡すプラグアンドプレイ設計により、オープンソースモデルだけでなくSeedance 2.0やKling O3のようなクローズドソースAPIにも適用可能です。 📊 実験結果 5つのベンチマーク・11モデルで評価し、インタラクティブ生成では一貫性が84.95→89.30、アクション条件付きワールドモデルYuMe 1.5ではアクション整合性0.883→0.912に改善。ユーザースタディでも一貫性の選好率62.7%（ネイティブモデル16.7%）と大差で選ばれました。 #動画生成# #AI研究#

TL;DR コードを書いて画像や動画を生成するAIは、コードの実行が成功しても見た目の要求を満たしているかは別問題です。この「プログラムと視覚のギャップ」を測る評価手法が提案されました。 タイトル: MaLiang-Harness: A Programmable Path to Image and Video Generation URL: ポイント 🖼️ 状態を保持しながら生成物を検査・修正するステートフルなフレームワーク 🔧 コードの変更と映像の結果を対応づける追跡可能な生成プロセスを導入 🎨 Canvas・SVG・Three.jsなど複数バックエンドを共通プロトコルで統一 📊 画像生成50タスクでGPT-6-Astraが成功率100%・品質基準クリア96.0% 🎬 動画生成13タスクでもGPT-6-Astraが成功率100%・品質基準クリア76.9% ⚠️ DeepSeek系は画像で12〜40%、動画では0%と大きく苦戦 🔍 汎用能力スコアが同じ2モデルでも描画品質の合格率は44%対88%と激しく食い違う 汎用ベンチマークのスコアだけではモデルの実力を測れない、という指摘が特に刺さります。 #マルチモーダルAI# #画像生成#

「人間によるイラスト × 人間による音楽 x AI」 歌と映像で物語を紡ぐプロジェクト🌟
Marimosty（まりもすてぃ） Turn on CC for Eng/Romaji/Jpn subtitles! YouTubeの字幕(CC)オンで歌詞が表示されます！！ 「fairy tale: Vocal」 【Credits】 Vocal: marimo Illustration: Mini Tadokoro (@minimilk) Music & Production: Hiroshi Sekita (@fireflower) Video Generation: Seedance 2.0