TL;DR ゼロショットで高精度なステレオ基盤モデルFoundationStereoを、精度をほぼ落とさず10倍以上高速化。ついにリアルタイムで動くようになりました。
タイトル:Fast-FoundationStereo: Real-Time Zero-Shot Stereo Matching
URL:
ポイント
🎯 課題:ステレオは「高精度だが重い基盤モデル」と「速いが精度・汎化を犠牲にする手法」に二分されていた
🧩 分割統治で3つのボトルネックを個別に高速化(特徴抽出・コストフィルタ・リファインメント)
📚 特徴抽出:単眼+ステレオの事前知識を単一の生徒モデルへ知識蒸留
🔍 コストフィルタ:8ブロックに分けたNASで探索をO(n^N)→O(n)に削減し、ILPでレイテンシ制約下の誤差を最小化
✂️ リファインメント:ConvGRUの再帰依存グラフ+テイラー展開の重要度で構造化プルーニング
🗂 140万組の野外ステレオを法線整合性チェックで自動疑似ラベリング
⚡ Middlebury-Qで4.51%
@49ms(本家2.64%
@496ms=10.1倍遅)、TensorRTで21msまで短縮
リアルタイムステレオの新SOTAで、ロボットやARの現場投入に効きそうです。
#
ステレオマッチング# #
コンピュータビジョン#