動画生成モデルで4D世界を作るとき、わざわざRGBに戻す必要はなかった——潜在空間から直接4Dへ変換する新手法が登場しました。 Beyond Pixels: From Video Priors to 4D Worlds 🔍 概要 従来の「動画生成→RGB→4D再構成」という3段階カスケードは、RGB変換でVAE潜在空間の幾何学情報を失い、アーティファクトを増幅させる構造的な問題を抱えていました。本研究は動画VAEの最終デノイズ済み潜在を直接4Dデコーダーに接続する「latent-to-4D生成」を提案します。 🛠 解決する課題 ・RGBデコード時に幾何学情報が劣化する ・ジェネレーター固有ノイズがRGB経由で4D再構成に伝播する ・ジェネレーターが変わるたびに4Dモジュールを再学習する必要がある これらすべてを、VAE潜在空間を直接インターフェースにすることで回避します。 ⚙ 方法論と提案手法 3つのコンポーネントで構成されます。 ・アライメントモジュール（𝒜ϕ）：三線形リサンプリングと3D畳み込みで潜在を4Dデコーダーのトークン空間に変換 ・L4ARアテンション：フレームワイズ空間整合 + グローバル時間アテンションの階層的組み合わせ ・4Dデコーダー：カメラパラメータ（9D）と密な世界座標系ポイントマップを同時予測 学習対象はこの3コンポーネントのみ（rank-16 LoRA含む）。VAEやTransformer本体は凍結し、約1,000クリップで学習します。 📊 実験結果 DINO-F1スコア（テキスト→4D）：57.01〜57.09（本手法）対 53.27〜54.21（カスケードベースライン）。画像→4Dでは61.60対55.79で5.81ポイント改善。人間評価でも幾何学・完全性で66.8〜72.1%の好みを得ています。頑健性テストでは汚染レベルρ=0.6時のドリフトが0.0053（ベースライン比71倍の安定性）を記録しました。 🌐 汎用性 14Bと1.3Bの2サイズのWan T2VモデルおよびWan I2Vモデルで、単一チェックポイントが変更なしに動作。モーション・外観・カメラ制御もそのまま引き継がれます。 #4D生成# #動画AI#

【新宿3D動画放映中】 現在、新宿駅周辺に「勝利の女神：NIKKE」の3D動画が絶賛放送中！ 動画撮影+「#NIKKE探し」タグを付けポストすると…抽選でオリジナルグッズをプレゼント🎁# ◆映像屋外広告掲載期間 10月28日～11月10日 ◆ダウンロード ※広告をご覧になられる際は周囲の方へのご配慮をお願いします。 #NIKKE2ndAnniversary# #NIKKE2周年# #NIKKE# #ニケ# #メガニケ#

スマホで撮った1本の動画から、自由に見回せる「動く3D人物」を作れる——専用スタジオも複数カメラも不要です。 タイトル: 4DAnyone: Create Anyone in 4D from a Casual Monocular Video URL: キャリブレーションなしの単眼動画から、多視点一貫動画を生成して4D Gaussian Splattingへ変換する枠組みです。注目ポイントは3つ。 📦 注目ポイント1: 参照文脈を O(N)→O(1) に圧縮（RCP） 4D再構成には数十視点が必要ですが、生成済み視点を条件に足すほど文脈が肥大化してガイダンスが弱まります。Reference Context Packingは、参照を固定長・混合解像度に圧縮し、視点が増えても計算量を一定に保ちます。 🔄 注目ポイント2: ノイズに応じて視点グループを回す（TCR） 独立にデノイズする視点グループは情報交換できず構造がずれます。Target Context Routingは高ノイズ時にグループを巡回シフトして全体構造を伝播し、低ノイズ時はグループを固定して詳細を安定化。切替は t/T=0.2 が最適でした。 🎮 注目ポイント3: ゲームエンジン製データで実世界へ汎化 自社エンジンの38k本多視点動画（318名・24カメラ）に実写・単眼データを組み合わせ、3段階カリキュラムで学習。結果、生成一貫性でPSNR 24.33を達成し既存手法を明確に上回りました。 スマホ動画から約40分でフォトリアルな4Dアバター。自由視点表現が一般ユーザーの手元に近づきます。 #4DReconstruction# #GaussianSplatting#

3D Designは、ただ服づくりをデジタルに置き換えるためのものでは無い。 サンプルや修正を減らし、つくる側の時間と負担を減らす。 削りたいのは、日本の高い技術に支払う対価ではなく、その周りにある無駄な工程。 デジタルと実際のものづくりをつなぐ、“橋渡し”に💫

3Dのガチャゲーム、毎月のように新キャラが実装され、売り上げの低いキャラでも何億円とか売り上げるのだが、内容が相応のものになっているわけではないので内容と売り上げがちゃんと見合ってる激面白ゲーム出たらちゃんと負けると思う。