Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント @snorbe_ai を作っています。 @deskrex | 著書 かんき出版『知的生産でAIを使いこなす全技法』
Joined January 2018
388 Following 2.8K Followers
物を押す作業で学んだ世界モデルが、同じ物を「避けて通る」だけで失敗する、というAnyGoalの研究（
世界モデルは、今の状態である行動をしたら、次にどう変わるかを予測する。そのはずが、成功した作業の記録ばかりで学ぶと、「この位置なら普通は物に近づく」という行動の癖を覚え、入力された別の行動を十分に反映しないことがある。
AnyGoalは、物理ルールを変えず、見慣れた状態や行動の組み合わせと目標だけを変える評価セット。4つの基本環境から8種類の派生課題を作り、各400エピソードを公開している。
たとえばLeWorldModelの計画成功率は、T字ブロックを押して目標に合わせるPush-Tで84.7%。同じブロックに触れず端へ移動するAvoid-Tでは3.3%だった。見たことのある部品でも、目的が変わると使い回せない。
ただし、原因は一つではない。画像から位置などを読み取る処理を外し、正しい物理状態を直接与えると、接触しない移動は改善する。一方、物を重ねる、棒を抜くといった接触のある課題では、それでも性能が落ちる。
未来映像の予測誤差と、実際に目標へ到達できる割合も一致するとは限らない。世界モデルを選ぶときは、学習した作業の再現に加え、「同じ物で別のことをさせる」テストを入れたいと思う。
Show more
