TL;DR: 運転ワールドモデルで、透視映像と鳥瞰(BEV)映像を同時に生成することで、周囲の車両が自車の動きに反応する映像を作りやすくしました。
BirdDreams: Joint Perspective and BEV Video Generation for a Plausible, Reactive Driving World Model
ポイント
・🚗 従来は周囲車両の軌道を外部入力にしていたため、ログ通りに固定されていました
・🗺️ 透視映像とBEV映像を同時に生成し、シーンのレイアウトを入力ではなく予測の一部にします
・🧠 2つの映像拡散Transformerが全ブロックで共同アテンションを行います(約40億パラメータ)
・🎲 ストリームごとに独立のノイズを与え、片方の情報をもう片方が使うことを学びます
・📉 行動条件ありのADEは、OmniDreams(Plücker)比で約35〜36%減と報告されています
・👥 人手の比較(25名)では、BirdDreamsが57%、OmniDreamsが24%で選ばれました
ただし自車軌道は生成映像から再構成した値で、人手評価の比較対象は同じ道路形状を与えた設定に限られます。
#
WorldModel# #
AutonomousDriving#