Register and share your invite link to earn from video plays and referrals.

Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント @snorbe_ai を作っています。 @deskrex | 著書 かんき出版『知的生産でAIを使いこなす全技法』 
Joined January 2018
388 Following    2.8K Followers
多指ロボットハンドに、動かすと手と周囲がどう変わるかという先読みを学ばせつつ、本番では未来を一切描かせないDexForesightという研究( Roboticsや上海交通大学などのチームによる。 指の多い手は、物をつかむ途中で指がカメラから隠れるので、先を見越す力が要る。定番の「World Action Model」(未来の映像や動きを予測しながら行動を出すモデル)は、推論のたびに未来を生成するぶん制御が重くなる。 そこで学習時だけ、先読み役の世界モデル(行動の結果を予測するモデル)を別に育てる。材料はステレオ映像からオフラインで推定した深度、順運動学(関節角から手の各部位の位置を計算する方法。隠れた指も追える)で求めた手の点群、約370時間・60タスク分の実演。実演の動作を条件に、手の表面の点の3D移動と画像特徴の変化を予測させる。 次に世界モデルを固定し、方策(行動を決めるモデル)の内部表現をそちらに寄せる。本番に残るのは方策だけで、入力はRGB画像、言語指示、ロボットの状態のみ。深度推定も未来の生成もしない。 シミュレーションの11タスク(ベンチマークDexJoCo)では、土台のGR00T N1.7の成功率49.4%が60.5%に。最も強い比較手法Fast-WAMの50.9%も上回った。実機3タスクでは58.3%で、次点のWLAは50.0%。推論時間は土台のQwenVLAの227.4msに対し230.4msと、1.3%増にとどまる。未来映像を作るCosmos3は、16フレームの生成段階だけで930msかかる。 寄せ方そのものが効いているらしい。方策に手の動きを直接予測させる出力を足すだけだと53.1%、条件の動作をシャッフルすると41.5%。方策の内部から0.54秒後の手の動きを線形に読み出す誤差も、QwenVLAの13.59mmから10.01mmに減った。 ただし実機は各タスク20回で、物体の位置を変えた評価が中心。WLAやFast-WAMとは構造も学習手順も違い、1要素だけを変えた比較ではないと著者も書いている。本番が軽い代わりに、学習側には大量の実演と深度推定、別の世界モデルが要る。 推論のたびに未来を想像する深い計算を、学習時の先生役に肩代わりさせる設計だ。計算資源が限られるロボットの現場には、こういう分担が合うのかもしれない。
Show more