Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント @snorbe_ai を作っています。 @deskrex | 著書 かんき出版『知的生産でAIを使いこなす全技法』
Joined January 2018
388 Following 2.8K Followers
見えている画像だけで答えず、「答えるために次はどこを見るか」も学ぶAct3Dという研究（
「廊下の突き当たりには何がある？」と聞かれたら、最初の1枚から推測して終わらず、視点を回し、横へ動き、必要なら戻って確かめる。3Dの部屋全体をモデルへ渡すのではなく、外部の環境にカメラ操作を送り、その都度レンダリングされた画像を受け取る。
まず、お手本の操作記録で「考える・動く・見る」の基本を学習。その後は、最終回答の正しさを中心とする報酬で、探索の仕方を改善する。強化学習中に、正解の経路や訪れるべき視点を逐一教える方式ではない。
ただし、正誤だけの学習でもない。正解した試行には探索への報酬があり、注釈された対象を実際に視野へ入れると、その報酬を満額与える。対象を見た後は、余計に動いても追加の得にならない設計だ。
6つの3D質問応答ベンチマークで、混合データを使ったAct3Dの平均正解率は53.2%。同じ土台のQwen3.5-9Bは31.2%、お手本学習後は48.6%だった。強化学習による上積みは4.6ポイントで、6課題中5課題が改善した。
評価は再構成した3D室内でのカメラ操作で、1問あたり最大12回の探索。実機ロボットの移動をそのまま実証した結果ではない。また、探索回数を増やす報酬が、すべての課題で精度を上げるわけでもない。
AIに詳しく考えさせる前に、不足している証拠を自分で取りに行けるようにする。画像の理解力と、何を見れば判断できるかを学ぶ力は、一緒に育てる価値があると思う。
Show more
