flip-flops、新曲「3nough?」をリリース エレクトロを基盤に、ギターリフと自由なボーカルのアプローチを発展させた複雑でスピード感のある一曲。輪郭を曖昧にしたボーカルが独特の没入感を与える。吉祥寺の＜武蔵野万博2026＞への出演も決定 @fareast_emo @friends_hipland

渋原FES in SHIBUYA SUMMER PARK 2026 ✨DAY3 -MAIN STAGE-✨ FLOP FLOW ( @FLOP_FLOW_ ) ご出演いただきありがとうございました！ #渋原FES# #MAINSTAGE# #SHIBUYASUMMERPARK2026#

画像をいつ見るかを決めるだけで、拡散VLMのデコードFLOPsを約3分の1にできるそうです 👀 Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs 📌 概要 拡散型VLM（LLaDA-Vなど）向けの、学習不要・しきい値不要のデコード手法LOWNです。毎ステップ画像を処理するのをやめ、「このステップに画像は必要か」を安価に判定します。 🚧 解決する課題 ・拡散VLMは双方向アテンションのためKVキャッシュが使えず、毎ステップ画像を再計算します ・入力の89〜97%が視覚トークンで、計算の大半は変わらない画像の再処理です ・画像を除いても確定トークンが変わるステップは平均22.8%にとどまります 🔧 方法論 ・FULL（画像あり）フォワードの予測をアンカーとして保存します ・毎ステップ、画像トークンを除いたTEXT-ONLYフォワードを実行します ・予測がアンカーと一致する最長プレフィックスは「証明済み」として、FULLなしで確定します ・足りなければFULLを実行し、不一致位置を優先して確定します 📊 実験結果 ・LLaDA-Vでスコアをベースラインの99.6%に保ち、デコードFLOPsは0.353倍です ・RedVTP併用では0.223倍のFLOPsで、10ベンチすべてで最高スコアです ・単独で生成時間を平均57.4%削減しました ・Fast-dLLM併用でも生成時間を38〜50%削減しましたが、Fast-dLLM単独よりスコアは下がります ⚠️ 注意点 図表・文書読解のように視覚依存が続くタスクでは節約が小さくなります。 #DiffusionLM# #VLM#

TL;DR: 言語モデルに自分のコンテキストを「編集可能なファイル」として自由に管理させる新しいパラダイム「Context Language Models」が、多くのベンチマークで精度向上とFLOPs削減を同時に達成しました。 タイトル: Context Language Models URL: ポイント 📝 コンテキストをファイルとしてミラーリングし、モデル自身がBashコマンドで自由に編集・追記できる設計。要約や検索の閾値を人間が決める従来のハーネスから脱却 🧠 明示的な指示なしに「インコンテキスト・スコアボード」や再利用可能な関数定義など創発的な戦略を獲得 🔍 BrowseComp-Plusで精度59.4%・FLOPs21.5%削減、EdgeBench-10では要約ベース比スコアを上回りつつFLOPsを半分以下に 🎯 強化学習ではQwen3.5-9Bの精度を28.8%→42.5%に向上させつつFLOPsも削減（成功した軌跡の中でのみ効率に報酬を与える設計でハッキングを防止） ⚡ 新技術Suffix Cache Reuseが、コンテキスト編集後も残存部分のKVキャッシュを再利用し、サーバー側計算量を標準比35%削減 🧩 ContextBenchの診断タスクでは、要約ベースが失敗する高コンテキスト圧力下でもCLMは完全な精度を維持 コンテキスト管理そのものをモデルの能力として扱うという発想転換に、大きな可能性を感じます。 #コンテキスト管理# #LLM効率化#

⚡ TL;DR: あなたのモデル、ハードの限界に対して「あと何倍」速くできるか即答できますか？ SOLARはPyTorch/JAXのコードから理論上の最速値（Speed-of-Light）を自動かつ検証付きで導き出します。 タイトル: SOLAR: AI-Powered Speed-of-Light Performance Analysis URL: 📌 ポイント ・🤖 LLMがコードを中間表現に翻訳→元コードと数値比較で正しさを検証する「生成して検証」方式 ・🧮 添字（einsum）構造だけから計算量とメモリ往復量を閉形式で算出する決定論的バックエンド ・🎚 非融合・融合・キャッシュ考慮の3段階でルーフライン上限を多段解析 ・✅ KernelBench 270問で演算子カバレッジ100%、SOL違反ゼロ（既存FLOPカウンタは75〜84%） ・🚀 ヘッドルームはL3で最大54.6倍、融合解析でさらに7.8倍の余地を発見 ・🦾 Jetson Thor上のロボット3モデルは全てメモリバウンド、500Hz制御には現状の19.7倍の帯域が必要 ・🔄 逆ルーフラインで目標レイテンシに必要な最低ハード性能を逆算 🌍 一言: 生成AIの柔軟さと数式計算の厳密さを組み合わせ、性能チューニングとハード選定を実機なしで加速できる実用的な土台だと感じます。 #DeepLearning# #Performance#

MoEとループ型Transformer、2つの軸を1つのスケーリング則で語れるか？Metaの論文です。 タイトル: Scaling Laws for Looped Mixture of Experts URL: 🔁 概要 重みを繰り返し使うループ（再帰）と、エキスパートを疎に使うMoEを同時に扱う「Loop Scaling Laws」を提案しています。 ❓ 解決する課題 従来の法則は2軸を別々に扱い、ループの利得を上限なく増えるものとして表していました。実際は再帰の利得は逓減し、エキスパートが多いほど長く効き続けます。 📐 提案手法 実効パラメータ数を Neff(R) = N + κ₁·Nloop·(1 − e^(−(R−1)/κ₂)) と有界にし、係数をアクティブ比 m に応じて m^(−θ) 倍に。計算量やメモリの予算から、最適な再帰回数とエキスパート数も導けます。 📊 実験結果 ・R=16など未知の条件で誤差が最小（密モデルでRMSE 0.0092） ・約5×10²⁰ FLOPsで、E≥8の0.3B MoEが1.0B密モデルを上回る ・約1.5×10²² FLOPsで、0.3B active/1.3B totalのLoopMoEはR=4〜5でBBH 31.5〜31.8、GSM8K 41.5〜41.2。0.6B active/2.9B total MoEの29.8と42.9にほぼ並ぶ ・ただし総合スコアは下回り、推論計算量も増えます #ScalingLaws# #MoE#

再帰構造のTransformerが生成する「途中経過」、実はそのまま捨てられていました。これをデコード時にただで活用する手法が登場です。 タイトル: Decoding Looped Transformers Better for (Almost) Free URL: 📝 概要 共有ブロックを繰り返し実行することでパラメータ効率を高める「ループ型Transformer」向けに、学習フリーのコントラスティブ・デコーディング手法LoopCDを提案。補助モデルも再学習も不要です。 ❗ 解決する課題 既存のデコード手法は、ループの途中段階の隠れ状態を捨てて最終予測だけを使っていました。反復を通じて自然に生まれる「弱い予測→強い予測」という整合したペアの情報が無駄になっていたのです。 🛠️ 方法論・提案手法 出力層の後でコントラストを取るLoopCD-Logits（出力パスを1回追加）と、coda層の前でコントラストを取り追加コストがほぼゼロのLoopCD-Hiddenの2種類を用意。初回ループと最終ループの差分を誘導強度ωで拡張し、モデルが不確実な場面ほど強く誘導する適応的な設定も可能です。 📊 実験結果 Ouro-2.6B-ThinkingのAIME 2024でpass@1が61.88%→73.33%に向上。HuginnのHumanEvalも22.56%→31.71%に改善しました。反復回数を半分にしてLoopCDを使っても元の精度を維持・上回り、フォワードFLOPsを22.5〜48.2%削減できています。 🏢 ユースケース Ouro・Huginn・Parcaeなど既存のループ型Transformerへそのまま適用でき、追加学習なしで推論コストを抑えながら推論性能を底上げできます。 #Transformer# #デコーディング#

🚀 100万トークンのコンテキストを扱いながら、KVキャッシュを従来の4分の1まで絞り込んだモデルが登場しました。DeepSeekの新作です。 タイトル: DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression URL: 💡 概要 552Bパラメータのマルチモーダルなミクスチャー・オブ・エキスパート（MoE）モデルで、長時間稼働するエージェント向けの「入力ヘビー」なワークロードを見据え、アーキテクチャと精度の両面からKVキャッシュを徹底的に圧縮しています。 🎯 解決する課題 長いコンテキストを扱うエージェントでは、プレフィル計算だけでなく、永続的なKVキャッシュがGPUメモリ・SSD・I/O帯域幅を圧迫し、デプロイコストの主なボトルネックになっていました。 🛠 方法論と提案手法 前半20層をエンコーダ、後半20層をデコーダとするCausal Encoder-Decoder構造でプレフィル計算量を半減。3モードで層間KVを再利用するCompressed Sparse Attention 2、候補プールに絞った階層型疎インデクサ、FP4量子化などを組み合わせています。 📊 実験結果 グローバルKVフットプリントは1トークンあたり890バイトでV4-Flashの約4分の1、永続KVは約8分の1に削減。コンテキストを4Kから100万へ256倍拡張してもデコードFLOPsは1/4しか増えません。HumanEval 79.4%など主要ベンチマークでも性能向上を確認しています。 #LLM# #KVキャッシュ#

深層学習の歴史を振り返ると、AlexNetが「手作業で工程を分けるより、入力から出力まで丸ごと1つのモデルで学習させる(end-to-end)方が強い」ことを示したのが革命の始まりだった。ところが生成AIだけはこの流れに乗り切れていない、という指摘から始まる論文が公開された(https://arxiv[.]org/html/2607.27372v1)。 拡散モデルや自己回帰モデル(要素を1つずつ順番に予測して生成するモデル)など、今の生成AIはどれも「生成の手順を細かいステップに分解する」ことで動いている。拡散モデルなら、ノイズだらけの画像を少しずつクリアにしていく数百ステップだ。これは「1つの入力に無数の正解がありうる」多峰性(複数の正解パターンがある)分布を、各ステップではほぼ一意な予測に絞り込むための工夫だが、この分解のせいで学習時(1ステップだけ予測)と推論時(数百ステップ繰り返す)でやっていることが食い違い、end-to-end(学習と推論の手順を完全一致させる訓練方式)にはなっていなかった。 この論文の「Explorative Modeling(探索的モデリング)」は逆転の発想で、生成の手順は分解せず学習ループ自体を分解する。各学習ステップでモデルに複数の候補を生成させ、正解データに一番近いものだけを使って学習する(best-of-k方式)。候補が1個だとモデルの最善手はすべての正解の平均になりぼやけた画像しか出せないが、候補をk個に増やすとそれぞれが別々の正解パターンを担当できるようになる。論文中の犬画像の比較が分かりやすく、候補1個ではほぼ完全にぼやけた模様、候補50個まで増やすと元画像とほぼ見分けがつかない鮮明さになっている。 この「探索の量」はパラメータ数・データ量に続く第三のスケーリング軸として機能し、画像・動画・言語のすべてで性能が単調に向上する。しかも効果はスケールが大きくなるほど強く、データ量を増やした場合の改善幅は7%から36%へ、モデルサイズを増やした場合は13%から23%へ拡大した。効率面ではFLOP(計算量)効率が4.1倍、サンプル効率が6.2倍、パラメータ効率が47%改善し、最強の画像生成レシピではImageNet 256×256でガイダンスなし1.43 FID(生成画像の品質指標、小さいほど良い)というほぼ最先端の性能に到達している。動画生成では過学習も抑えられ、FVD(動画品質指標、小さいほど良い)の最良値が探索なしの37.5から探索ありで30.0まで改善した。 さらにロボット制御タスクでは単体のend-to-end生成モデルとしても機能し、拡散モデルベースの手法と同等の性能を推論ステップ数16分の1から256分の1で達成した。数百回繰り返していた予測が、たった1回の計算で済むことになる。