TwiScan
热门
社区
账号集合
登录
注册
English
日本語
한국의
简体中文
繁体中文
注册并分享邀请链接,可获得视频播放与邀请奖励。
立即注册
Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント
@snorbe_ai
を作っています。
@deskrex
| 著書 かんき出版『知的生産でAIを使いこなす全技法』
加入 January 2018
388
正在关注
2.8K
粉丝
Itaru Tomita / 冨田到
@itarutomy
2026.11.12 10:30
多指ロボットハンドに、動かすと手と周囲がどう変わるかという先読みを学ばせつつ、本番では未来を一切描かせないDexForesightという研究( Roboticsや上海交通大学などのチームによる。 指の多い手は、物をつかむ途中で指がカメラから隠れるので、先を見越す力が要る。定番の「World Action Model」(未来の映像や動きを予測しながら行動を出すモデル)は、推論のたびに未来を生成するぶん制御が重くなる。 そこで学習時だけ、先読み役の世界モデル(行動の結果を予測するモデル)を別に育てる。材料はステレオ映像からオフラインで推定した深度、順運動学(関節角から手の各部位の位置を計算する方法。隠れた指も追える)で求めた手の点群、約370時間・60タスク分の実演。実演の動作を条件に、手の表面の点の3D移動と画像特徴の変化を予測させる。 次に世界モデルを固定し、方策(行動を決めるモデル)の内部表現をそちらに寄せる。本番に残るのは方策だけで、入力はRGB画像、言語指示、ロボットの状態のみ。深度推定も未来の生成もしない。 シミュレーションの11タスク(ベンチマークDexJoCo)では、土台のGR00T N1.7の成功率49.4%が60.5%に。最も強い比較手法Fast-WAMの50.9%も上回った。実機3タスクでは58.3%で、次点のWLAは50.0%。推論時間は土台のQwenVLAの227.4msに対し230.4msと、1.3%増にとどまる。未来映像を作るCosmos3は、16フレームの生成段階だけで930msかかる。 寄せ方そのものが効いているらしい。方策に手の動きを直接予測させる出力を足すだけだと53.1%、条件の動作をシャッフルすると41.5%。方策の内部から0.54秒後の手の動きを線形に読み出す誤差も、QwenVLAの13.59mmから10.01mmに減った。 ただし実機は各タスク20回で、物体の位置を変えた評価が中心。WLAやFast-WAMとは構造も学習手順も違い、1要素だけを変えた比較ではないと著者も書いている。本番が軽い代わりに、学習側には大量の実演と深度推定、別の世界モデルが要る。 推論のたびに未来を想像する深い計算を、学習時の先生役に肩代わりさせる設計だ。計算資源が限られるロボットの現場には、こういう分担が合うのかもしれない。
显示更多
0
0
0
3
0
转发到社区
热门用户
New York Post
@nypost
4.3M 粉丝
狱
@Wx1n11124
317.9K 粉丝
Reuters
@Reuters
26.5M 粉丝
华尔街观察 Xtrader
@cnfinancewatch
140.2K 粉丝
空空道人
@Kongkongda5882
40.8K 粉丝
オリコンニュース
@oricon
2M 粉丝
First Squawk
@FirstSquawk
579.4K 粉丝
吴说区块链
@wublockchain12
183K 粉丝
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K 粉丝
ツイッター速報〜BreakingNews
@tweetsoku1
260.1K 粉丝
TVer新着
@TVer_info
101.8K 粉丝
allincrypto 熬鹰资本 🇨🇳
@thankUcrypto
207.1K 粉丝
zerohedge
@zerohedge
3.4M 粉丝
中國新聞社
@CNS1952
549.9K 粉丝
一劍浣春秋
@chee828
233.3K 粉丝