1台のカメラで撮った動画から、遮蔽や激しい変形があっても動く物体を4D（3D＋時間）で復元する手法です🎥 タイトル: Lift4D: Harmonizing Single-View 3D Estimation for 4D Reconstruction In-the-Wild URL: 🎥 概要 単一視点の3D予測と変形可能な3Dガウシアンスプラッティングを組み合わせた、テスト時最適化フレームワークです。学習済みの幾何・外観の事前知識を映像と統合し、強い遮蔽や非剛体運動に対処します。 ❓ 解決する課題 ・4Dを直接予測する手法は学習データが乏しく汎化が難しい ・3Dを初期化して動画だけで精緻化する手法は、大変形や遮蔽のある実世界映像で破綻しがち 💡 方法論と提案手法 3つの要素で構成されます。 ・Causal Latent Conditioning：画像→3Dモデルを再学習なしで時間方向に整合。隣接フレームの潜在をODEレベルで結合し、t₀で一貫性と各フレーム忠実度を調整 ・変形可能ガウシアン：疎な制御ノード＋時間変化するSE(3)変換とLBSで、正準表現を各フレームへ変形 ・遮蔽考慮の精緻化：見えるピクセルだけを比較しつつ、視点条件付き拡散事前分布で未観測面を補完 📊 実験結果 ・ベースライン（STAG4D, PAD3R, L4GM, DreamMesh4D, V2M4, BANMo）と比較 ・Pexelsデータで点追跡誤差EPE 0.072（競合は0.119〜0.211） ・単一H200 GPUで32フレーム動画あたり約30分 #3D再構成# #GaussianSplatting#

フィリピンのシャオガオ島で少しの間生活してました。 初めての島生活。 なかなか簡単ではなかった。笑 でも、すごくいい人生勉強になったなって思ってます。 今までLAと東京という便利なところで生活してきて、ノマド生活に切り替えてからも、ヨーロッパやオーストラリアの便利な街にばっかり行ってた。 今回の島の生活で、当然のようにどこにでもエアコンがあって生活ができること、普通に24時間不自由なくご飯がいつでも食べれること、熱いシャワーがあたりまえにいつでも浴びれること、電気がある部屋でいつでも安心して生活ができること、などなど、今までの普通が普通じゃないんだなーって気付けました。 島にいる人は、本当にみんな優しくて、笑顔で、助け合って生きていく精神がすごくあって、自分がずっと戦ってきた世界とは違う世界がここにはありました。 今までいた世界はつねに戦いの場所。つねに戦闘モードになっていないと、自分が置いていかれる感じ。 でも、ここにいると生きているだけで、幸せなんだなー、って改めて感じれて、本当にいい経験をしました。 人の優しさにもたくさん触れて、心が温かくなりました。 I spent some time living on Siargao Island in the Philippines, and it was my first experience living on an island. To be honest, it wasn’t always easy. Before this, I’d spent most of my life in places like Tokyo and Los Angeles. Even when I started living more nomadically, I found myself in big cities across Europe and Australia, surrounded by convenience and comfort. Siargao was different. Living there made me realize how many things I had always taken for granted. Air conditioning whenever it’s hot. Food available at any hour of the day. Hot showers whenever I wanted them. Reliable electricity and all the comforts that come with it. For most of my life, these things felt normal. But being on the island reminded me that they’re actually privileges many people don’t have. What struck me most, though, wasn’t what was missing. It was what the people had. The people of Siargao are some of the kindest I’ve ever met. There’s a genuine sense of community, people look out for each other, help one another, and carry a warmth that’s hard to put into words. It felt like a completely different world from the one I came from. Back home, life often felt like a race. A constant push to achieve more, do more, and stay ahead. But on the island, I was reminded of something simple. Sometimes, just being alive is enough. That lesson stayed with me. The kindness I experienced from so many people there genuinely touched my heart, and it’s something I’ll carry with me long after leaving. Thank you, Siargao.