Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント @snorbe_ai を作っています。 @deskrex | 著書 かんき出版『知的生産でAIを使いこなす全技法』
Joined January 2018
388 Following 2.8K Followers
「このシャツに似ているけど、ロゴは別のもの」を画像と文章で探せる検索を改善する「FactEmbed」が面白い（
これは合成画像検索（CIR）と呼ばれる課題。画像を新しく作るのではなく、手元の写真と変更指示を組み合わせ、条件に合う画像を一覧から探す。難しいのは、変えたい部分と残したい部分を区別すること。
FactEmbedは、画像と言葉を扱うモデルの内部に、細部を分担する小さな表現を持たせる。学習時には変更後の画像の特徴を復元させ、検索時には全体の特徴で候補を絞り、細部の特徴も使って並べ直す。両方の表現を同じ1回のモデル処理で取り出せるのがポイント。
曖昧な注釈を整理したRefined-CIRRでは、正解を検索1位に置けた割合が68.99%。比較手法ReCALLの67.41%を上回った。服を探すRefined-FashionIQでも、正解が上位10件に入った割合のカテゴリ平均は71.13%で、ReCALLの69.48%より高い。
ただし、「変更後を想像する」学習だけでは検索精度は一貫して上がらなかった。特徴同士を検索に合うよう対応付ける学習や、追加データでの学習も組み合わせた結果。
付録には「スーパーマンのロゴではない」と指定したのに、比較モデルがそのロゴ入りを拾ってしまう例もある。単に似ている画像より、何を変えたかったかを守る検索。商品や素材を探す場面で役立ちそう。
Show more
