Itaru Tomita / 冨田到(@itarutomy):「このシャツに似ているけど、ロゴは別のもの」を画像と文章で探せる検索を改善する「FactEmbed」が面白い（https://t.co/cgiR8YJFV3）。これは合成画像検索（CIR）と呼ばれる課題。画像を新しく作るのではなく、手元の写真と変更指示を組み合わせ、条件に合う画像を一覧から探す。難しいのは、変えたい部分と残したい部分を区別すること。 FactEmbedは、画像と言葉を扱うモデルの内部に、細部を分担する小さな表現を持たせる。学習時には変更後の画像の特徴を復元させ、検索時には全体の特徴で候補を絞り、細部の特徴も使って並べ直す。両方の表現を同じ1回のモデル処理で取り出せるのがポイント。曖昧な注釈を整理したRefined-CIRRでは、正解を検索1位に置けた割合が68.99%。比較手法ReCALLの67.41%を上回った。服を探すRefined-FashionIQでも、正解が上位10件に入った割合のカテゴリ平均は71.13%で、ReCALLの69.48%より高い。ただし、「変更後を想像する」学習だけでは検索精度は一貫して上がらなかった。特徴同士を検索に合うよう対応付ける学習や、追加データでの学習も組み合わせた結果。付録には「スーパーマンのロゴではない」と指定したのに、比較モデルがそのロゴ入りを拾ってしまう例もある。単に似ている画像より、何を変えたかったかを守る検索。商品や素材を探す場面で役立ちそう。

2026.11.05 09:00

「このシャツに似ているけど、ロゴは別のもの」を画像と文章で探せる検索を改善する「FactEmbed」が面白い（これは合成画像検索（CIR）と呼ばれる課題。画像を新しく作るのではなく、手元の写真と変更指示を組み合わせ、条件に合う画像を一覧から探す。難しいのは、変えたい部分と残したい部分を区別すること。 FactEmbedは、画像と言葉を扱うモデルの内部に、細部を分担する小さな表現を持たせる。学習時には変更後の画像の特徴を復元させ、検索時には全体の特徴で候補を絞り、細部の特徴も使って並べ直す。両方の表現を同じ1回のモデル処理で取り出せるのがポイント。曖昧な注釈を整理したRefined-CIRRでは、正解を検索1位に置けた割合が68.99%。比較手法ReCALLの67.41%を上回った。服を探すRefined-FashionIQでも、正解が上位10件に入った割合のカテゴリ平均は71.13%で、ReCALLの69.48%より高い。ただし、「変更後を想像する」学習だけでは検索精度は一貫して上がらなかった。特徴同士を検索に合うよう対応付ける学習や、追加データでの学習も組み合わせた結果。付録には「スーパーマンのロゴではない」と指定したのに、比較モデルがそのロゴ入りを拾ってしまう例もある。単に似ている画像より、何を変えたかったかを守る検索。商品や素材を探す場面で役立ちそう。