🎬 蒸留された自己回帰の動画モデルは速い一方で、人間の好みからズレがちです。再蒸留も逆プロセスの展開も使わず、「順プロセス」で強化学習アラインメントを行うAstrolabeが、その難題に答えます。 タイトル: Astrolabe: Steering Forward-Process Reinforcement Learning URL: 📝 概要 Astrolabeは、蒸留された自己回帰（AR）動画モデルを人間の視覚的な好みに整合させる強化学習フレームワークです。最大の特徴は、従来の逆プロセス最適化ではなく、順プロセス（forward-process）でRLを行う点にあります。全53ページ・37図の大規模な研究です。 ❓ 解決する課題 蒸留AR動画モデルは効率的なストリーミング生成に向く一方、人間の好みと乖離しやすいという弱点があります。さらに既存のRLは、こうしたアーキテクチャに自然には合いません。一般に、高コストな再蒸留か、ソルバー結合の逆プロセス最適化のいずれかを必要とし、どちらも重くスケールしにくいものでした。 💡 方法論と提案手法 3つの工夫から成ります。 ・負例認識の微調整：推論の終端で正例と負例を対比させ、逆プロセスを展開せずに、暗黙的なポリシー改善の方向を確立します ・ストリーミング学習：ローリングKVキャッシュでシーケンスを段階的に生成し、RL更新は局所的なクリップウィンドウにのみ適用、長距離の一貫性は先行コンテキストへの条件付けで維持します ・複数報酬の目的関数：不確実性を考慮した選択的正則化と動的な参照更新を統合し、報酬ハッキング（見かけのスコアだけ上げる崩壊）を緩和します 🎯 ユースケース リアルタイム・ストリーミングな動画生成で、効率的な蒸留モデルを速さを保ったまま好みへ整合させたい場面に向きます。複数の蒸留AR動画モデルに適用でき、推論の軽さを犠牲にせずに品質を底上げできます。 📊 意義と結果 ・再蒸留や逆プロセス展開という重い経路を避けることで、計算効率のボトルネックに対処します ・順プロセスでの負例認識・ストリーミング更新・報酬ハッキング対策を組み合わせ、堅牢でスケーラブルなアラインメント解を提供します ・複数の蒸留ARモデルにわたって有効性が示され、詳細な定量評価とアブレーションを含みます #VideoGeneration# #ReinforcementLearning#

🎬 参照画像の被写体を保ったまま、実写⇔ファンタジーのドメインをまたいで動画化できる被写体駆動T2Vです。 タイトル: DomainShuttle: Freeform Open Domain Subject-driven Text-to-video Generation URL: 被写体の「忠実度」と「スタイル適応の柔軟性」を両立させたDomainShuttle。注目したい3点を紹介します。 🧬 Domain-MoT 動画と参照画像を独立2ブランチで処理し、参照側は時間に加えてドメイン属性(実在人物/物体/背景/ファンタジー)で変調するDomain-aware AdaLNを採用。テキストのクロスアテンションは凍結し、ベースモデルの言語誘導力を保ちます。 📐 Video-Reference DualRoPE 参照トークンを動画トークンとは別のRoPE空間に割り当て、被写体レベルの精密な空間制御を実現。動画は時間インデックス1から、参照は0固定で、複数被写体や同一被写体の複数画像を位置オフセットで整理します。 🔗 Cross-Pair Consistent Loss 同一タイムステップで2種類の参照セットを使って学習し、単一フレームへの過学習を抑制。無関係なビジュアル属性に左右されない被写体本来の特徴を抽出します。 クロスドメイン被写体一貫性はCD-Score 0.861でSOTA比+18.7%(Kling 1.6は0.725)。実写⇔ファンタジーの作風変換に強い、実用性の高い一本だと感じます。 #動画生成# #生成AI#

「人間によるイラスト × 人間による音楽 x AI」 歌と映像で物語を紡ぐプロジェクト
Marimosty（まりもすてぃ） うやむや 02: ボーカル Voice: marimo Illustration: Mini Tadokoro (@minimilk) Music & Production: Hiroshi Sekita (@fireflower) Video Generation: Seedance 2.0 Video Editing: Wondershare Filmora 🎬YouTube link in the reply↓

「人間によるイラスト × 人間による音楽 × AI」歌と映像で物語を紡ぐプロジェクト『Marimosty』 オリジナル曲MV公開🌟 Turn on CC for Eng/Romaji/Jpn subtitles! YouTubeの字幕(CC)オンで歌詞が表示されます！！ Wake me up!! [Original Song] 【Credits】 Music & Lyrics: Hiroshi Sekita Vocal: marimo Lead guitars: GA Cool (@gacool) Bass, rhythm guitars & all other instruments: Hiroshi Sekita Illustration & Character Design: Mini Tadokoro (@minimilk) Production & Creative Direction: Hiroshi Sekita (@fireflower) Video Generation: Seedance 2.0