ロボットは、重みではなく「文脈」でタスクを学べるのでしょうか?
World In-Context Learning for Agentic Robot Manipulation
❓ World In-Context Learning(WICL)とは?
💡 重みを凍結した基盤モデルが、1つのデモから出発してシミュレータでリハーサルし、そのフィードバックを重みではなく文脈(Task Memory)に書き込む枠組みです。文脈には物体の役割や手順といった意味的な知識が入るため、見た目が違う環境にも転用しやすいという考えです。
❓ どれくらい動くのですか?
💡 RoboTwin 2.0の全50タスクで、1デモ・勾配更新なしの平均成功率は83.4%です。50デモで学習した最強の学習ポリシー(61.7%)を21.7ポイント上回ります。クリーンのみでリハーサルしても、ランダム化環境でクリーン成功率の95%以上を維持しました。
❓ 何が効いているのですか?
💡 アブレーションでは、デモだけをメモリに書くと69.0%、世界でのリハーサルまで行うと78.5%でした(10タスク)。デモも世界も両方必要という結果です。さらに、評価結果を反省して文脈を書き換えることで、3ラウンドの自己改善も確認されています。
❓ 実用面の注意点は?
💡 学習と1,000エピソードの評価で、定価APIで約308〜1,911ドルかかります。実機での確認はPiPERの4タスク・計30/40成功と小規模で、主な結果はシミュレーションです。
#
Robotics# #
InContextLearning#