画像をいつ見るかを決めるだけで、拡散VLMのデコードFLOPsを約3分の1にできるそうです 👀 Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs 📌 概要 拡散型VLM（LLaDA-Vなど）向けの、学習不要・しきい値不要のデコード手法LOWNです。毎ステップ画像を処理するのをやめ、「このステップに画像は必要か」を安価に判定します。 🚧 解決する課題 ・拡散VLMは双方向アテンションのためKVキャッシュが使えず、毎ステップ画像を再計算します ・入力の89〜97%が視覚トークンで、計算の大半は変わらない画像の再処理です ・画像を除いても確定トークンが変わるステップは平均22.8%にとどまります 🔧 方法論 ・FULL（画像あり）フォワードの予測をアンカーとして保存します ・毎ステップ、画像トークンを除いたTEXT-ONLYフォワードを実行します ・予測がアンカーと一致する最長プレフィックスは「証明済み」として、FULLなしで確定します ・足りなければFULLを実行し、不一致位置を優先して確定します 📊 実験結果 ・LLaDA-Vでスコアをベースラインの99.6%に保ち、デコードFLOPsは0.353倍です ・RedVTP併用では0.223倍のFLOPsで、10ベンチすべてで最高スコアです ・単独で生成時間を平均57.4%削減しました ・Fast-dLLM併用でも生成時間を38〜50%削減しましたが、Fast-dLLM単独よりスコアは下がります ⚠️ 注意点 図表・文書読解のように視覚依存が続くタスクでは節約が小さくなります。 #DiffusionLM# #VLM#