TwiScan
Hot
Communities
Account collections
Login
Register
English
日本語
한국의
简体中文
繁体中文
Register and share your invite link to earn from video plays and referrals.
Register now
Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント
@snorbe_ai
を作っています。
@deskrex
| 著書 かんき出版『知的生産でAIを使いこなす全技法』
Joined January 2018
388
Following
2.8K
Followers
Itaru Tomita / 冨田到
@itarutomy
2026.11.12 10:30
多指ロボットハンドに、動かすと手と周囲がどう変わるかという先読みを学ばせつつ、本番では未来を一切描かせないDexForesightという研究( Roboticsや上海交通大学などのチームによる。 指の多い手は、物をつかむ途中で指がカメラから隠れるので、先を見越す力が要る。定番の「World Action Model」(未来の映像や動きを予測しながら行動を出すモデル)は、推論のたびに未来を生成するぶん制御が重くなる。 そこで学習時だけ、先読み役の世界モデル(行動の結果を予測するモデル)を別に育てる。材料はステレオ映像からオフラインで推定した深度、順運動学(関節角から手の各部位の位置を計算する方法。隠れた指も追える)で求めた手の点群、約370時間・60タスク分の実演。実演の動作を条件に、手の表面の点の3D移動と画像特徴の変化を予測させる。 次に世界モデルを固定し、方策(行動を決めるモデル)の内部表現をそちらに寄せる。本番に残るのは方策だけで、入力はRGB画像、言語指示、ロボットの状態のみ。深度推定も未来の生成もしない。 シミュレーションの11タスク(ベンチマークDexJoCo)では、土台のGR00T N1.7の成功率49.4%が60.5%に。最も強い比較手法Fast-WAMの50.9%も上回った。実機3タスクでは58.3%で、次点のWLAは50.0%。推論時間は土台のQwenVLAの227.4msに対し230.4msと、1.3%増にとどまる。未来映像を作るCosmos3は、16フレームの生成段階だけで930msかかる。 寄せ方そのものが効いているらしい。方策に手の動きを直接予測させる出力を足すだけだと53.1%、条件の動作をシャッフルすると41.5%。方策の内部から0.54秒後の手の動きを線形に読み出す誤差も、QwenVLAの13.59mmから10.01mmに減った。 ただし実機は各タスク20回で、物体の位置を変えた評価が中心。WLAやFast-WAMとは構造も学習手順も違い、1要素だけを変えた比較ではないと著者も書いている。本番が軽い代わりに、学習側には大量の実演と深度推定、別の世界モデルが要る。 推論のたびに未来を想像する深い計算を、学習時の先生役に肩代わりさせる設計だ。計算資源が限られるロボットの現場には、こういう分担が合うのかもしれない。
Show more
0
0
0
3
0
Forward to community
Most Popular Users
Tibo
@thsottiaux
1M Followers
FinancialJuice
@financialjuice
957.9K Followers
Serenity
@aleabitoreddit
1.1M Followers
First Squawk
@FirstSquawk
579K Followers
LiveSquawk
@LiveSquawk
504.5K Followers
CNBC
@CNBC
6.3M Followers
Seeking Alpha
@SeekingAlpha
347.3K Followers
Binance Wallet
@BinanceWallet
2.8M Followers
The Wall Street Journal
@WSJ
22.3M Followers
amit
@amitisinvesting
672.4K Followers
TheStreet
@TheStreet
1.2M Followers
New York Post
@nypost
4.3M Followers
The Kobeissi Letter
@KobeissiLetter
2.7M Followers
Reuters
@Reuters
26.4M Followers
Elon Musk
@elonmusk
241M Followers