Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント @snorbe_ai を作っています。 @deskrex | 著書 かんき出版『知的生産でAIを使いこなす全技法』
Joined January 2018
388 Following 2.8K Followers
AIに3Dの部屋を作らせるなら、完成例だけでなく「どの修正が効いたか」と「なぜ使いにくいか」も学ばせたい（
家具がぶつかっていなくても、椅子の向きが机と合わない、窓への道を塞ぐ、といった配置は使いにくい。そこで、作る過程の観察・判断・操作を約3.5万件、複数の部屋を比べる批評データを約1.5万件用意した。作業記録からは、最終状態を保ちながら無効な修正を取り除いている。
学習では、同じ部屋から複数の編集案を試し、Critic（部屋の物理的な成立、使い勝手、配置のまとまりを評価するモデル）が比較する。候補のどれがよいかに加え、編集前より本当に改善したかも報酬にする。学習中はCriticを固定し、作る側を更新する。
お手本をまねる学習だけのScene-Builderと比べ、物の向きの誤りを直すのに5回以上の修正が必要だった割合は40%から7%へ。窓へのアクセスを塞ぐ誤りでは21%から5%へ下がった。これは成功率ではなく、修正回数についての比較。
さらに生成時にも4案からCriticが選ぶと品質が上がる。ただし、部屋の見た目や機能の評価にはGPT-4を使い、批評データには配置を意図的に崩した例も含む。人間の生活空間での使いやすさを直接実証したわけではない。
手順を長く残すことより、効果のある修正を残し、次の案を選べる評価役を育てる。3D制作に限らず、エージェントの作業経験を学習へ戻すときにも参考になる設計だと思う。
Show more
