数千万点規模の都市3Dシーンで「この建物のあの交差点の近くの標識」を見つける。候補を全部ランキングするのではなく、エージェントに歩き回って探させるという発想が登場しました。
タイトル: Urbex: Agentic Spatial Grounding for City-Scale 3D Scenes
URL:
🏙️ 解決する課題
都市規模の3Dシーンは1シーンあたり数十万〜数千万点に及び、既存の候補ランキング手法は事前計算されたインスタンス候補に依存するためスケールしません。本研究は、都市環境での位置特定は本質的に逐次的で探索的だと捉え直します。
🔧 提案手法
VLMエージェントが「ランドマーク照会」「ズームイン」「斜め視点レンダリング」という3つのツールを駆使し、鳥瞰図の多視点環境を探索しながら最終的なバウンディングボックスを確定します。GRPOで学習し、IoU・距離シェーピング・ステップ数ペナルティを組み合わせた報酬設計で、精度と探索効率を同時に最適化します。
📊 実験結果
CityReferベンチマークでHit
@1が最大23.9%(ベースラインの14.2%を上回る)、推論時間は3.2秒でベースラインの32.1秒から約10倍高速化。未知の都市シーンへのゼロショット転移でもHit
@1 27.2%を記録しました。
🔍 見えてきた課題
名前付きランドマークが欠落するとHit
@1が10.8ポイント低下する一方、座標ノイズの影響はごく小さいこと、さらに同クラスの物体が周囲に多いと識別成功率が64.7%から25.1%まで下がることもわかりました。
#
空間認識AI# #
VLMエージェント#