画像をいつ見るかを決めるだけで、拡散VLMのデコードFLOPsを約3分の1にできるそうです 👀 Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs 📌 概要 拡散型VLM（LLaDA-Vなど）向けの、学習不要・しきい値不要のデコード手法LOWNです。毎ステップ画像を処理するのをやめ、「このステップに画像は必要か」を安価に判定します。 🚧 解決する課題 ・拡散VLMは双方向アテンションのためKVキャッシュが使えず、毎ステップ画像を再計算します ・入力の89〜97%が視覚トークンで、計算の大半は変わらない画像の再処理です ・画像を除いても確定トークンが変わるステップは平均22.8%にとどまります 🔧 方法論 ・FULL（画像あり）フォワードの予測をアンカーとして保存します ・毎ステップ、画像トークンを除いたTEXT-ONLYフォワードを実行します ・予測がアンカーと一致する最長プレフィックスは「証明済み」として、FULLなしで確定します ・足りなければFULLを実行し、不一致位置を優先して確定します 📊 実験結果 ・LLaDA-Vでスコアをベースラインの99.6%に保ち、デコードFLOPsは0.353倍です ・RedVTP併用では0.223倍のFLOPsで、10ベンチすべてで最高スコアです ・単独で生成時間を平均57.4%削減しました ・Fast-dLLM併用でも生成時間を38〜50%削減しましたが、Fast-dLLM単独よりスコアは下がります ⚠️ 注意点 図表・文書読解のように視覚依存が続くタスクでは節約が小さくなります。 #DiffusionLM# #VLM#

🎨 テキストから高精細な画像を生成するモデルを、完全にオープンなレシピだけでゼロから鍛え上げ、トップクラスのモデルに迫る性能を実現しました。 タイトル: LLaDA-Image: Building Strong Image Generators with Fully Open Training Recipes URL: 🖼️ 概要 LLaDA-Imageは、6BパラメータのDiffusion Transformerをゼロから訓練し、dLLMベースの視覚言語理解モジュールと組み合わせた統一的な画像生成・編集モデルです。TwinFlow蒸留により2〜4ステップという少なさで高速推論できるTurbo版もあわせて公開されています。 🧩 解決する課題 高品質な画像生成にはこれまで大量のペア画像テキストデータが必要とされ、キャプション品質のばらつきや、生成と編集を1つのモデルで両立させる難しさが課題でした。 🛠️ 方法論と提案手法 画像のみの事前学習を中心に据え、220Mサンプルのうち90%以上を画像単独データで訓練し、実画像の比率を生成訓練で98%、教師あり微調整でも70%以上に保つ「実データ優位」なレシピを採用しています。長時間の訓練を安定させるパラメータフリーRMSNormや、参照画像をセマンティック・ピクセル両経路で条件付けする編集用アーキテクチャも特徴です。 📊 ユースケース / 実験結果 Qwen-Image-Benchでは英語53.53点・中国語53.38点でオープンソース最高水準のZ-Image Turboを上回り、長文テキストレンダリングを測るCVTG-2Kでも単語精度0.875でトップの成績を収めています。一方でGenEvalの物体計数は0.53にとどまるなど、今後の改善点も明確に示されています。 #画像生成# #DiffusionModel#

🖼 画像編集のテスト時スケーリングは「どんな編集にも同じ計算予算」を割り当てがちで、無駄だらけでした。難易度に応じて配分し、編集に特化した検証で枝刈りすることで、品質を保ったまま最大2.2倍の高速化を実現した研究です。 タイトル: From Scale to Speed: Adaptive Test-Time Scaling for Image Editing URL: 📝 概要 ADE-CoTは、目的志向の画像編集に特化したテスト時スケーリング手法です。テキストから画像を作る生成向けに作られた従来のImage-CoTをそのまま編集に流用するのではなく、「難易度に応じた資源配分」「編集特化の早期検証」「機会主義的な停止」という3つの戦略を組み合わせ、計算を大きく節約しながら品質を維持します。 ❓ 解決する課題 従来手法には3つのミスマッチがありました。 ・固定のサンプリング予算が、ほとんど改善しない簡単な編集にも計算を浪費する ・汎用のMLLMスコアが、早期スコアは低くても最終的に高得点になるサンプルの約40%を誤って枝刈りしてしまう ・大規模サンプリングが同一の正解を何度も生み、不要な計算を増やす 💡 方法論と提案手法 ・編集の難易度を見て、簡単な編集は最小予算、複雑な編集は探索を拡大します ・ワンステップ・プレビューで、追加のデノイジングなしにノイズ中間状態からクリーンな潜在を推定し、早期検証を信頼できるものにします ・Grounded SAM2で「意図した領域だけが変わったか」を検証し、DINOv2の埋め込みで冗長な候補を除去します ・候補を逐次生成し、意図に合う結果が十分に得られた時点で打ち切る深さ優先の停止を使います 🎯 ユースケース 複雑な姿勢変更、複数オブジェクトの削除や置換、細粒度の領域編集、マルチターンの逐次編集、そして計算制約下での高品質編集に向きます。本番の画像編集APIのように推論コストが効く場面で特に有効です。 📊 実験結果 ・GEdit-Benchで、FLUX.1 KontextがBest-of-N比2.2倍、BAGELが1.8倍、Step1X-Editが2.0倍の高速化を達成しました ・推論効率は固定32サンプル予算で2倍超、結果効率は3つのベンチで4.9倍・2.7倍・2.9倍に向上しました ・「白い服の女性の隣に立つ人を消す」といった難しい複数オブジェクト編集でも、ベースラインの誤認を正しく解決しました #ImageEditing# #DiffusionModels#

ケモノ要素のアウターのドレスの衣装プロンプトをどうぞ✨ プロンプトは、Stable Diffusion、SeaArt、PixAI系の他にもChatGPT、Gemini、Grok、Midjourney、niji•journeyなど生成AI全般で使えます☺️ ivory hooded mini dress, oversized rounded fabric hood, thick curled fleece trim around hood opening, narrow ivory ribbon ties knotted beneath chin, small white pompom decorations, broad plush shoulder edging, fitted ivory bodice, fine vertical ribbing, narrow center front fastening, delicate lace neckline, full length oversized bell sleeves, extremely wide sleeve openings, thick rounded fleece borders, scattered small silver gray embroidered stars, subtle pale gray swirling embroidery across sleeves, waist densely decorated with candy shaped beads, clustered red yellow blue green pink and ivory ornaments, rounded oval and teardrop bead shapes, colorful bead decorations extending onto upper skirt, very short full ivory skirt, multiple gathered organza tiers, overlapping translucent fabric ruffles, softly curled edges, voluminous white tulle petticoat, rounded layered skirt silhouette, continuous ivory fabric panels, fine ivory piping, tiny silver star charms sewn onto fabric

🔁 簡単なトークンにも難しいトークンにも同じ計算量を使っている。拡散言語モデルが自己回帰モデルに勝てない原因は、そこにあるという指摘です。 タイトル: ALoDLM: Adaptively Looped Diffusion Language Models URL: 📘 概要 拡散言語モデルの各デノイジングステップに「内側ループ」を入れ、トークンごとに異なる深さで計算を打ち切れるようにした手法です。11ベンチマークの平均で、同規模の拡散モデルだけでなく自己回帰ベースラインも上回りました。 🔥 解決する課題 1回のデノイジングで、予測しやすい位置と計算を要する位置が混在します。しかし標準的な拡散モデルは全マスク位置に同じ固定深度を適用するため、簡単な予測に計算を浪費し、難しい予測には計算が足りません。信頼度ベースの繰り越しも、繰り越したトークンの潜在計算を捨てて次ステップで再計算するため根本解決になりません。 🛠 方法論と提案手法 Transformerを前段・再帰コア・後段に分け、再帰コアを最大4回まわします。 ・予測エントロピーが閾値以下のトークンは確定し、離散埋め込みとして次パスの文脈になります ・未解決のトークンは潜在状態を保持したまま洗練を続けます ・停止確率を累積し、閾値に達したら内側ループを抜けます 確定が文脈を変えるため離脱スケジュールの厳密な総和は不可能で、離脱深度を潜在変数とみなす変分下界と不偏勾配推定で学習します。 📊 実験結果 ・平均スコアは1.7Bで65.5、8Bで80.3。Qwen3の63.8と78.5をいずれも上回りました ・GSM8Kで、同等以上の精度を保ちつつvLLM提供のQwen3-8Bの約2.7倍のスループット ・推論時に離脱閾値を上げるとループ数が1.6から2.34に増え、平均スコアも77.9%から79.1%へ ・難易度ラベルなしで、数値トークンに最も深い計算を割り当てる挙動を自ら学習しました #拡散モデル# #LLM#

「サングラスをかけたトカゲ」を描かせたら、サングラスが消えるか顔が崩れる。画像生成AIの「制御」問題に、Googleが数学的な答えを出しました。 タイトル: How Diffusion Controller unifies and simplifies AI image generation URL: 📝 概要 画像生成を逐次ステップの集まりではなく連続的な「制御問題」として捉え直すフレームワークDiffusion Controllerです。ベースモデルは凍結したまま、軽量なサイドネットワークを追加するだけで挙動を調整します。 ❓ 解決する課題 推論時のガイダンスと重いファインチューニング（LoRA等）という2系統は、統一的な数学原理を持たないため、好みへの適合と画質のバランスを手探りで調整するしかありませんでした。 💡 方法論と提案手法 デノイジング中の中間状態を観察し、モデル内部の重みに触れずに微小な補正を注入します。ポリシー勾定（PPO）方式と報酬重み付き損失方式の2つの実装で、画質を守るガードレールを備えています。この構造により、非公開のクローズドソースモデルすら制御可能になります。 📊 実験結果 Stable Diffusion v1.4でLoRAより少ない層しか操作しないにもかかわらず、SFT・RWL両方の学習経路でLoRAを上回りました。完全にアンロックした版ではベースライン比90%の勝率を記録し、複雑なプロンプトでの人間評価でも最良の品質を示しています。 #画像生成AI# #拡散モデル#

「1文字ずつ」しか喋れないAIは、もう古いのかもしれません🌀 画像生成で大成功した拡散モデルを、ついに言語生成へ持ち込んだ研究が登場しました。 タイトル: dLLM: Simple Diffusion Language Modeling URL: 🌀 概要 本研究は、画像生成でおなじみの「拡散モデル」の考え方を、言語モデリングに応用したフレームワーク「dLLM」を提案しています。テキストを左から右へ順番に作るのではなく、ノイズ（マスク）まみれの状態から、複数ステップをかけて文章全体を少しずつ整えていく「反復的な精緻化」によって生成します。名前のとおり、複雑な仕掛けを足さずに、できる限りシンプルに実現することを重視しているのが特徴です。 ❓ 解決する課題 現在のLLMの主流は、トークンを1つずつ予測していく「自己回帰（Autoregressive）」方式です。しかしこの方式には弱点があります。 ・逐次生成のため本質的に並列化しにくく、長文ほど生成が遅くなりがちです ・一度書いたトークンを後から推敲・修正する仕組みがなく、全体を見渡して整えるのが苦手です 拡散ベースの生成は、これらの制約を別の角度から解きほぐす可能性を持っています。 💡 方法論と提案手法 dLLMは、言語生成を「離散拡散（Discrete Diffusion）プロセス」として定式化し直します。 ・マスクされた、あるいはノイズの乗ったトークンからスタートします ・複数ステップにわたって段階的にアンマスク（デノイズ）し、クリーンな系列へ復元します ・破損した入力から正しいトークンを予測するよう、ニューラルネットワークを訓練します ・複数トークンを同時に生成できる「並列デコーディング」に対応します 新規の特殊なネットワークを設計するのではなく、既存のTransformerにそのまま載せられる点が実装上の大きな利点です。 🌍 ユースケース / 実験結果 複数のモデル規模・系統で有効性が確認されました。 ・エンコーダ系：ModernBERTを拡散方式で訓練し、分類ベンチマークで競争力ある結果を達成 ・デコーダ系：QwenやLlamaをベースにした拡散モデルでも、言語理解タスクで実用的な性能を確認 ・並列デコーディングにより、標準的な自己回帰方式より高速な推論を実現 ・0.6Bから、より大きなパラメータ領域まで一貫して有効性を確認 高速応答が求められるチャットや、推論コストを抑えたい大規模サービスでの活用が期待されます。 #拡散モデル# #LLM#

🧬 「抗がん活性があって毒性の低いペプチドを作って」という自然言語の指示だけで、分子生成モデルを目標に導けるようになりました。 タイトル: LLM-to-Flow Distillation: Teaching Natural Language Goals to Scientific Generators URL: 分子やペプチドを生成するFlow/Diffusionモデルは優秀ですが、自然言語の目標に合わせて調整するには通常、明示的な報酬関数（プロキシ指標）が必要でした。この論文のLFDはLLMを教師、生成モデルを学生とすることでこの壁を取り払います。注目ポイントは3つです。 🎯 プロキシ報酬なしで目標に整合 LLMが生成サンプルを見ながら「今の実力で届く部分目標」を段階的に設定し、DPOで生成モデルを少しずつ目標領域へ導きます。 📊 絶対評価は不正確でも相対判定は信頼できる LLMに1〜100点をつけさせると真値から大きくズレますが、どちらが優れているかのペア判定は一貫して信頼できることを実証し、スケーラブルなバッチ分類方式を採用しています。 🏆 既存手法を一貫して上回る実験結果 細胞貫通ペプチドでpLM4CPPsスコア69.06%（DiffusionNFTの57.04%超え）、抗がんペプチドで53.54%（Guidanceの35.94%超え）、ドパミンD2受容体ドッキングでもVinaスコア-8.48で全手法中最良を記録しました。 プロキシ報酬を用意できない実験科学の現場でこそ効くアプローチだと感じます。 #LLM# #AI創薬#

【第3弾】AIイラスト初心者向けテンプレ紹介『肌質感テンプレ』10選＋α 「なんか肌がのっぺりする…人形っぽい」 👉 一気に“それっぽくなる”うえに、 初心者は特に聞きたいであろう攻めた系にも使えるものもあるので必見です！ ---- キャラの印象を大きく左右する“肌”に特化した、 簡単に使える質感テンプレ集👇 ① Smooth skin（なめらか） smooth skin, soft shading, clean texture, even tone 基本の肌 👉 まずはここから ---- ② Soft skin（やわらか） soft skin, gentle shading, subtle gradients, natural softness ふんわりした質感 👉 優しい印象に ---- ③ Glossy skin（ツヤ肌） glossy skin, shiny highlights, smooth reflections, moist look ツヤっとした肌 👉 映え・色気アップ → もう少し柔らかくしたい場合は glossy skin ⇔ shiny skin, ---- ④ Matte skin（マット肌） matte skin, low reflectivity, natural finish, soft light 落ち着いた自然な肌 👉 リアル寄りに ---- ⑤ Wet skin（濡れ肌） wet skin, moisture, water droplets, specular highlights 濡れた質感 👉 臨場感・攻めたい人向け → 汗ばむ肌なら sweaty skin, ---- ⑥ Warm skin（血色感） warm skin tone, subtle blush, natural redness, lively complexion 血色の良さ 👉 健康的で生きてる感じ ---- ⑦ Pale skin（色白） pale skin, soft light, low saturation, delicate tone 透けるような白さ 👉 儚さ・透明感 ---- ⑧ Tanned skin（日焼け肌） tanned skin, warm tone, sun-kissed, healthy glow 日焼けした肌 👉 元気・アクティブ感 → より褐色にしたいなら tanned skin, ⇔ dark skin, ---- ⑨ Subsurface skin（内部透過） subsurface scattering, soft light diffusion, translucent skin 光が透けるリアル感 👉 一気に“人っぽく”なる ---- ⑩ Detailed skin（ディテール） skin texture, fine detail, pores, subtle imperfections 細かい質感 👉 リアル志向・上級寄せ ---- 【超重要ポイント】 👉 “全部やらない”のがコツ → glossy + wet + sweaty + dewy 全部盛り ＝ テカテカになる → matte肌＋頬だけglossy ＝ 一気に“それっぽい” ---- ※攻めたい場合に使えるかもしれない系👇 ①『Moist skin,（濡れすぎない自然な色気）』 moist skin, soft shine, subtle highlights, hydrated look ②『Dewy skin,（透明感＋色気のバランス型）』 dewy skin, fresh glow, light reflection, smooth highlights ③『Glossy highlights,（部分ツヤ）』 skin highlights, glossy highlights on cheeks and shoulders ④『Soft lighting skin,（肌そのものより“光”で色気を出す）』 soft lighting, smooth skin highlights, gentle glow on skin ⑤『Warm glow（体温感）』 warm glow, soft light on skin, subtle warmth ---- 簡易シリーズは引き続き追加していきます✨ 気に入ったら保存しておくとあとで便利です👍 これまで紹介した小ネタや祭禍スタイルの衣装は随時記事で整理していくので気になる方はぜひチェックしてみてください🤩