🦾 専用の行動モデルもセグメンテーションも使わず、凍結した汎用VLM1つだけでロボットを操作できるのでしょうか。 タイトル: MotorMind: Scaffolding General Vision Language Models for Zero-Shot Robot Manipulation URL: 学習済みの行動エキスパートやコーディングエージェント、SAM3のようなグラウンディングツールを一切使わず、汎用VLMを人間の遠隔操作者のように振る舞わせるハーネスの提案です。 注目ポイントは3つあります。 🎮 中間粒度の行動インターフェース 関節角を直接生成させるのではなく、移動・回転・グリッパー開閉をパラメータ付きで提案させます。VLMが行動と大きさを選び、決定論的なコントローラが身体に応じた動作へ変換して、ロボットが実際に何をしたかを記録します。意図した動きが達成された動きとして扱われない設計です。 🧠 1つの凍結VLMに5つの役割 計画・実行・監視・検証・記憶を、同じモデルに異なる文脈と出力権限で割り当てます。監視役はバックグラウンドで動き、誤った物体を掴んだときにSTOPアラートを出して保留中のコマンドを破棄させます。ただし修正動作は選ばず、判断は結果評価に委ねます。 📈 バックボーンが強くなるほど勝手に伸びる ゼロショットのVLA方策が軒並み0.0%のLIBERO-PROで66.7%を達成し、摂動下の53.8%はファインチューン済みOpenVLA-OFTの51.2%を上回りました。実機xArm6でも平均95%。さらにバックボーンをGPT-6 Solに差し替えるだけで83.3%まで上がります。 専用方策を学習させるのではなく、汎用モデルの能力を適切な制御抽象に合わせる問題として捉え直した点が示唆的です。 #ロボティクス# #VLM#