TwiScan
人気
コミュニティ
アカウントコレクション
ログイン
登録
English
日本語
한국의
简体中文
繁体中文
登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。
今すぐ登録
Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント
@snorbe_ai
を作っています。
@deskrex
| 著書 かんき出版『知的生産でAIを使いこなす全技法』
参加 January 2018
388
フォロー中
2.8K
ファン
Itaru Tomita / 冨田到
@itarutomy
2026.11.12 10:30
多指ロボットハンドに、動かすと手と周囲がどう変わるかという先読みを学ばせつつ、本番では未来を一切描かせないDexForesightという研究( Roboticsや上海交通大学などのチームによる。 指の多い手は、物をつかむ途中で指がカメラから隠れるので、先を見越す力が要る。定番の「World Action Model」(未来の映像や動きを予測しながら行動を出すモデル)は、推論のたびに未来を生成するぶん制御が重くなる。 そこで学習時だけ、先読み役の世界モデル(行動の結果を予測するモデル)を別に育てる。材料はステレオ映像からオフラインで推定した深度、順運動学(関節角から手の各部位の位置を計算する方法。隠れた指も追える)で求めた手の点群、約370時間・60タスク分の実演。実演の動作を条件に、手の表面の点の3D移動と画像特徴の変化を予測させる。 次に世界モデルを固定し、方策(行動を決めるモデル)の内部表現をそちらに寄せる。本番に残るのは方策だけで、入力はRGB画像、言語指示、ロボットの状態のみ。深度推定も未来の生成もしない。 シミュレーションの11タスク(ベンチマークDexJoCo)では、土台のGR00T N1.7の成功率49.4%が60.5%に。最も強い比較手法Fast-WAMの50.9%も上回った。実機3タスクでは58.3%で、次点のWLAは50.0%。推論時間は土台のQwenVLAの227.4msに対し230.4msと、1.3%増にとどまる。未来映像を作るCosmos3は、16フレームの生成段階だけで930msかかる。 寄せ方そのものが効いているらしい。方策に手の動きを直接予測させる出力を足すだけだと53.1%、条件の動作をシャッフルすると41.5%。方策の内部から0.54秒後の手の動きを線形に読み出す誤差も、QwenVLAの13.59mmから10.01mmに減った。 ただし実機は各タスク20回で、物体の位置を変えた評価が中心。WLAやFast-WAMとは構造も学習手順も違い、1要素だけを変えた比較ではないと著者も書いている。本番が軽い代わりに、学習側には大量の実演と深度推定、別の世界モデルが要る。 推論のたびに未来を想像する深い計算を、学習時の先生役に肩代わりさせる設計だ。計算資源が限られるロボットの現場には、こういう分担が合うのかもしれない。
もっと見る
0
0
0
3
0
コミュニティへ転送
人気のあるユーザー
オリコンニュース
@oricon
2M ファン
ツイッター速報〜BreakingNews
@tweetsoku1
260.1K ファン
TVer新着
@TVer_info
101.7K ファン
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K ファン
New York Post
@nypost
4.3M ファン
Reuters
@Reuters
26.4M ファン
モデルプレス
@modelpress
2.1M ファン
First Squawk
@FirstSquawk
578.9K ファン
MANTANWEB/毎日キレイ
@mantanweb
68.7K ファン
ファミ通.com
@famitsu
1.4M ファン
cv usk
@cv_usk
470 ファン
Yahoo!ニュース
@YahooNewsTopics
2.1M ファン
4Gamer
@4GamerNews
735K ファン
空空道人
@Kongkongda5882
40.1K ファン
zerohedge
@zerohedge
3.4M ファン