画像編集を何度も繰り返すと、絵が少しずつ崩れていく。その「ドリフト」を、ノイズ除去の最終盤だけを調整して抑える手法が出ました🖼️
TailSteer: Trajectory-Tail Steering for Drift-Resistant Multi-turn Image Editing
🧩 概要
編集モデルのファインチューニング手法です。ノイズ除去の初期はベースモデルのままにし、軌跡の終盤(テイル)だけを「変更しない箇所はソースを保つ」終点へ誘導します。推論時の切り替えや追加モジュールは不要です。
⚠️ 解決する課題
マルチターン編集では、出力が次の入力になるため、小さな意図しない変化が蓄積します。テクスチャのかすれ、顔や背景の変化、アーティファクトが典型です。
🛠️ 手法
・低周波の構造は早期、細部は終盤で決まるという分析が出発点
・保存マスクで、変更しない領域はソース、それ以外はベースの編集とする終点を作成
・正解の編集ペアは不要で、ベースモデル自身のロールアウトで学習
・速度を滑らかにブレンドし、オンポリシーで学習
📊 実験結果
・FLUX.2 Klein: 10回編集後のPSNRが13.85から19.96、LPIPSが0.524から0.290
・FLUX、SenseNova、Qwenの4モデルで累積ドリフトが低下
・一方、マルチターンの指示追従は一貫せず、Kleinでは低下
#
画像編集# #
拡散モデル#