Itaru Tomita / 冨田到(@itarutomy):物を押す作業で学んだ世界モデルが、同じ物を「避けて通る」だけで失敗する、というAnyGoalの研究（https://t.co/HVY1z8jOAc）。世界モデルは、今の状態である行動をしたら、次にどう変わるかを予測する。そのはずが、成功した作業の記録ばかりで学ぶと、「この位置なら普通は物に近づく」という行動の癖を覚え、入力された別の行動を十分に反映しないことがある。 AnyGoalは、物理ルールを変えず、見慣れた状態や行動の組み合わせと目標だけを変える評価セット。4つの基本環境から8種類の派生課題を作り、各400エピソードを公開している。たとえばLeWorldModelの計画成功率は、T字ブロックを押して目標に合わせるPush-Tで84.7%。同じブロックに触れず端へ移動するAvoid-Tでは3.3%だった。見たことのある部品でも、目的が変わると使い回せない。ただし、原因は一つではない。画像から位置などを読み取る処理を外し、正しい物理状態を直接与えると、接触しない移動は改善する。一方、物を重ねる、棒を抜くといった接触のある課題では、それでも性能が落ちる。未来映像の予測誤差と、実際に目標へ到達できる割合も一致するとは限らない。世界モデルを選ぶときは、学習した作業の再現に加え、「同じ物で別のことをさせる」テストを入れたいと思う。

2026.10.22 05:50

物を押す作業で学んだ世界モデルが、同じ物を「避けて通る」だけで失敗する、というAnyGoalの研究（世界モデルは、今の状態である行動をしたら、次にどう変わるかを予測する。そのはずが、成功した作業の記録ばかりで学ぶと、「この位置なら普通は物に近づく」という行動の癖を覚え、入力された別の行動を十分に反映しないことがある。 AnyGoalは、物理ルールを変えず、見慣れた状態や行動の組み合わせと目標だけを変える評価セット。4つの基本環境から8種類の派生課題を作り、各400エピソードを公開している。たとえばLeWorldModelの計画成功率は、T字ブロックを押して目標に合わせるPush-Tで84.7%。同じブロックに触れず端へ移動するAvoid-Tでは3.3%だった。見たことのある部品でも、目的が変わると使い回せない。ただし、原因は一つではない。画像から位置などを読み取る処理を外し、正しい物理状態を直接与えると、接触しない移動は改善する。一方、物を重ねる、棒を抜くといった接触のある課題では、それでも性能が落ちる。未来映像の予測誤差と、実際に目標へ到達できる割合も一致するとは限らない。世界モデルを選ぶときは、学習した作業の再現に加え、「同じ物で別のことをさせる」テストを入れたいと思う。