Itaru Tomita / 冨田到(@itarutomy):一人称動画から「手がどこで、何をどう動かしたか」を、カメラの移動や周囲の奥行きと一緒に3D復元するEgoXperienceという研究（https://t.co/O8nz0og3oY）。頭に付けたカメラの映像では、手が動いたのか、自分が動いたのかを区別しないと位置がずれる。EgoXはカメラ・奥行き・両手・物体の姿勢を同じモデルで推定し、共通の座標と実寸へそろえる。部品ごとの正解だけでなく、組み合わせた後の手と物体の位置も学習に使う。学習用に50時間、101個の剛体、270の作業シナリオを収録。机の前だけでなく、部屋をまたぐ作業や屋外での移動も含む。ほかの公開データも、座標と尺度の違いを整理して学習へ加えている。推論で使うのは単眼のRGB動画と、対象物を指定する最初のフレームのマスク。撮影・教師データ作成時の複数カメラや事前スキャンを、そのまま推論でも要求する仕組みではない。独自評価セットEgoX-Benchでは、世界座標での手の関節位置誤差がWiLoR＋SLAMの328.81mmに対し113.24mm。ただしカメラ推定の全指標で最良という結果ではなく、対象は形の変わらない剛体。物体の形状メッシュ自体も予測しない。ロボットに人の作業を学ばせるなら、手の形だけでなく「周囲のどこで物を動かしたか」まで整っていることが大事だと思う。認識器を増やすときに、その出力同士の整合性も学ばせる設計が面白い。

2026.10.23 08:15

一人称動画から「手がどこで、何をどう動かしたか」を、カメラの移動や周囲の奥行きと一緒に3D復元するEgoXperienceという研究（頭に付けたカメラの映像では、手が動いたのか、自分が動いたのかを区別しないと位置がずれる。EgoXはカメラ・奥行き・両手・物体の姿勢を同じモデルで推定し、共通の座標と実寸へそろえる。部品ごとの正解だけでなく、組み合わせた後の手と物体の位置も学習に使う。学習用に50時間、101個の剛体、270の作業シナリオを収録。机の前だけでなく、部屋をまたぐ作業や屋外での移動も含む。ほかの公開データも、座標と尺度の違いを整理して学習へ加えている。推論で使うのは単眼のRGB動画と、対象物を指定する最初のフレームのマスク。撮影・教師データ作成時の複数カメラや事前スキャンを、そのまま推論でも要求する仕組みではない。独自評価セットEgoX-Benchでは、世界座標での手の関節位置誤差がWiLoR＋SLAMの328.81mmに対し113.24mm。ただしカメラ推定の全指標で最良という結果ではなく、対象は形の変わらない剛体。物体の形状メッシュ自体も予測しない。ロボットに人の作業を学ばせるなら、手の形だけでなく「周囲のどこで物を動かしたか」まで整っていることが大事だと思う。認識器を増やすときに、その出力同士の整合性も学ばせる設計が面白い。