Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント @snorbe_ai を作っています。 @deskrex | 著書 かんき出版『知的生産でAIを使いこなす全技法』
Joined January 2018
388 Following 2.8K Followers
一人称動画から「手がどこで、何をどう動かしたか」を、カメラの移動や周囲の奥行きと一緒に3D復元するEgoXperienceという研究（
頭に付けたカメラの映像では、手が動いたのか、自分が動いたのかを区別しないと位置がずれる。EgoXはカメラ・奥行き・両手・物体の姿勢を同じモデルで推定し、共通の座標と実寸へそろえる。部品ごとの正解だけでなく、組み合わせた後の手と物体の位置も学習に使う。
学習用に50時間、101個の剛体、270の作業シナリオを収録。机の前だけでなく、部屋をまたぐ作業や屋外での移動も含む。ほかの公開データも、座標と尺度の違いを整理して学習へ加えている。
推論で使うのは単眼のRGB動画と、対象物を指定する最初のフレームのマスク。撮影・教師データ作成時の複数カメラや事前スキャンを、そのまま推論でも要求する仕組みではない。
独自評価セットEgoX-Benchでは、世界座標での手の関節位置誤差がWiLoR＋SLAMの328.81mmに対し113.24mm。ただしカメラ推定の全指標で最良という結果ではなく、対象は形の変わらない剛体。物体の形状メッシュ自体も予測しない。
ロボットに人の作業を学ばせるなら、手の形だけでなく「周囲のどこで物を動かしたか」まで整っていることが大事だと思う。認識器を増やすときに、その出力同士の整合性も学ばせる設計が面白い。
Show more
