Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント @snorbe_ai を作っています。 @deskrex | 著書 かんき出版『知的生産でAIを使いこなす全技法』
Joined January 2018
388 Following 2.8K Followers
AIに「操作できた」と言われても仕事が終わったとは限らない、という差をロボット課題で調べた「Embodied Agent Arena」が面白い（
10モデルを1,000ケースで評価。空間の理解、道具を使う位置の特定、作業計画、物体操作などを調べている。
特に印象的なのが、ロボットに5つの目標を順番に達成させるCALVINという評価。実行エラーが起きた65試行のうち、62試行はその後コードを動かせる状態に戻った。でも、そこから全目標の達成まで進めたのは3試行だった。
別の課題では、石けんを洗って浴槽に置いても、指定された受け皿の部分に入っていないため未達成。置く先を修正して初めて成功した。命令が通ったことと、必要な状態になったことは別なんですよね。
ただし、モデルによって観測頻度や実行予算が異なる実験なので、数字だけで性能順位を決めるのは注意が必要。
実務のAIエージェントでも、エラーが消えたかだけでなく、依頼した条件が実物で満たされたかを確認する設計が大事だと思う。
Show more
