Itaru Tomita / 冨田到(@itarutomy):見えている画像だけで答えず、「答えるために次はどこを見るか」も学ぶAct3Dという研究（https://t.co/7pEQNo2HfZ）。「廊下の突き当たりには何がある？」と聞かれたら、最初の1枚から推測して終わらず、視点を回し、横へ動き、必要なら戻って確かめる。3Dの部屋全体をモデルへ渡すのではなく、外部の環境にカメラ操作を送り、その都度レンダリングされた画像を受け取る。まず、お手本の操作記録で「考える・動く・見る」の基本を学習。その後は、最終回答の正しさを中心とする報酬で、探索の仕方を改善する。強化学習中に、正解の経路や訪れるべき視点を逐一教える方式ではない。ただし、正誤だけの学習でもない。正解した試行には探索への報酬があり、注釈された対象を実際に視野へ入れると、その報酬を満額与える。対象を見た後は、余計に動いても追加の得にならない設計だ。 6つの3D質問応答ベンチマークで、混合データを使ったAct3Dの平均正解率は53.2%。同じ土台のQwen3.5-9Bは31.2%、お手本学習後は48.6%だった。強化学習による上積みは4.6ポイントで、6課題中5課題が改善した。評価は再構成した3D室内でのカメラ操作で、1問あたり最大12回の探索。実機ロボットの移動をそのまま実証した結果ではない。また、探索回数を増やす報酬が、すべての課題で精度を上げるわけでもない。 AIに詳しく考えさせる前に、不足している証拠を自分で取りに行けるようにする。画像の理解力と、何を見れば判断できるかを学ぶ力は、一緒に育てる価値があると思う。

2026.10.22 06:30

見えている画像だけで答えず、「答えるために次はどこを見るか」も学ぶAct3Dという研究（「廊下の突き当たりには何がある？」と聞かれたら、最初の1枚から推測して終わらず、視点を回し、横へ動き、必要なら戻って確かめる。3Dの部屋全体をモデルへ渡すのではなく、外部の環境にカメラ操作を送り、その都度レンダリングされた画像を受け取る。まず、お手本の操作記録で「考える・動く・見る」の基本を学習。その後は、最終回答の正しさを中心とする報酬で、探索の仕方を改善する。強化学習中に、正解の経路や訪れるべき視点を逐一教える方式ではない。ただし、正誤だけの学習でもない。正解した試行には探索への報酬があり、注釈された対象を実際に視野へ入れると、その報酬を満額与える。対象を見た後は、余計に動いても追加の得にならない設計だ。 6つの3D質問応答ベンチマークで、混合データを使ったAct3Dの平均正解率は53.2%。同じ土台のQwen3.5-9Bは31.2%、お手本学習後は48.6%だった。強化学習による上積みは4.6ポイントで、6課題中5課題が改善した。評価は再構成した3D室内でのカメラ操作で、1問あたり最大12回の探索。実機ロボットの移動をそのまま実証した結果ではない。また、探索回数を増やす報酬が、すべての課題で精度を上げるわけでもない。 AIに詳しく考えさせる前に、不足している証拠を自分で取りに行けるようにする。画像の理解力と、何を見れば判断できるかを学ぶ力は、一緒に育てる価値があると思う。