登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 モデル圧縮
モデル圧縮 コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
モデル圧縮 を含む検索結果
エージェントのモデルをアップグレードした翌日、なぜか回答の質が静かに落ちている。そんな経験はないでしょうか。 多くのチームは、モデルの入れ替えを「ただの差し替え」だと考えがちです。しかしエージェントが蓄積してきたメモリは、古いモデルの癖や解釈のクセを前提に書かれています。新しいモデルがそのメモリを引き継いだ瞬間、性能はテストに気づかれないまま劣化してしまうことがあります。 そこで研究者たちは、生履歴・RAG・モデル圧縮ノート・固定スキーマの知識グラフという4つのメモリ形式を、実際にモデルを入れ替えて比較しました。結果は形式によって驚くほど異なります。固定スキーマの知識グラフはモデルを替えてもほぼ無傷(変化わずか±0.0004ポイント)だった一方、圧縮ノートは書き手と読み手の組み合わせ次第で最大13.28ポイントも劣化し、埋め込みを中途半端に移行すると得られるはずの改善の58%を静かに失うことも判明しました。 Does Your Agent's Memory Survive a Model Upgrade? A Controlled Study of Memory Portability モデルのアップグレードは、もはや単なる差し替えではなく「メモリの移行プロジェクト」として扱うべき時代が来ているのかもしれません。 #AIエージェント# #メモリ管理#
もっと見る
TL;DR 音声LLMのエンコーダを18層から14層まで削っても精度がほぼ落ちない、XPengの圧縮手法「X-AuT」が公開されました。むしろ16層構成では精度が向上しています。 タイトル: X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation URL: ポイント ✂️ 音声エンコーダの層を18→16→14と段階的に削減する「プログレッシブプルーニング」を採用しています 🔍 個々の層の削減スコアだけでは最適なペアが分からず、層同士の相互作用まで評価しているのが面白い点です 🎓 0.6Bの学生モデルを1.7Bの大きな教師モデルで蒸留する「クロススケール蒸留」で自己蒸留より大きく精度を改善しています 📈 16層構成ではパラメータ10.35%削減しつつマクロ平均エラー率5.61%→5.27%に改善 📉 14層構成でもパラメータ20.70%削減で精度低下はわずか+0.14ptに抑えられています 🚗 車載チップ上でエンコーダ処理時間を21.4%、全体レイテンシを4.7%削減しています 🔓 コードとモデルはGitHub・Hugging Faceで公開済み(CC BY-NC 4.0) 層を削るだけでなく「どう賢く削って回復させるか」の設計がよく練られていると感じました。 #音声LLM# #モデル圧縮#
もっと見る
動画生成AIに複数ステップで考える力を持たせる新手法HDR(Hierarchical Denoising for Visual Reasoning)が発表された(https://arxiv[.]org/html/2607.15278v1)。 いまの動画生成AIの多くは拡散モデル(ランダムなノイズを少しずつクリアな映像に近づけていく生成の仕組み)を使っていて、迷路やハノイの塔のような視覚的な推論もできるようになってきた。ただし既存の生成方式には弱点がある。ストリーミング型(過去のフレームだけを見て左から右へ逐次生成する方式、CausVidなど)は速いが、一度生成したフレームを後から直せず序盤の判断ミスを引きずる。双方向型(動画全体を毎ステップまとめてノイズ除去する方式)は前の判断を修正できて賢いが、毎回全フレームを更新するので計算コストが重くストリーミングに向かない。 HDRは動画の潜在表現(モデル内部で圧縮された動画データ)を6段階の木構造の階層に組む。粗いレベルはノイズを多めに残して複数の可能性を保持したまま大枠の計画を立て、細かいレベルに降りるほどノイズを削って具体的な映像へ絞り込む。各階層の中は左から右への逐次生成を保つのでストリーミングの速さはそのまま。SHAP(疎な階層的注意機構、各フレームが近くのフレームと一つ上の階層だけを参照して計算量を抑える仕組み)も導入している。論文では、既存方式が迷路で序盤に間違った分岐を選んで失敗するのに対し、HDRは分岐の判断を保留してから細部を詰めて正解にたどり着く例が紹介されている。 迷路・ハノイの塔・一筆書き・スライドパズル・倉庫番・水注ぎの6タスク、370本の評価動画によるベンチマークでは、ストリーミング型ベースライン(CausalForcing)比で成功率が34.22から60.29へ(76.2%の相対改善)、平均進捗スコアも76.00から89.56へ向上。推論速度は1フレームあたり0.70秒で、双方向型(37.92秒)より54.2倍速いのにストリーミング型ベースライン(0.72秒)とほぼ同速。学習データを2%に絞っても82.9%の成功率を維持できており(双方向型は52.0%まで低下)、データ効率の高さも見どころ。実機ロボットアームの迷路実験でも同じ枠組みが機能したという。
もっと見る
TL;DR: エージェントが失敗するのはモデルの賢さ不足ではなく「実行を取り巻く仕組み」の欠陥。重みを触らず実行環境だけを鍛える「ハーネススケーリング」で、Terminal-Bench 2.1に95.3%・約$15で到達しました。 タイトル: StateM: Reaching 95.3% Raw Accuracy, or a $15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling URL: ポイント 🧠 モデルではなくハーネスを拡張。再訓練なしで失敗から学習させる新パラダイム 📌 永続状態でエピソードをまたいで発見を保持 🎯 フェーズ局所の文脈で意思決定点に関連情報だけを提示 ✅ 検査付き遷移で事前条件を検証し連鎖失敗を防止 📖 回復可能ランブックで失敗を照会可能な知識として再利用 🕒 バージョン管理された手順で戦略を更新・ロールバック 💰 GPT-5.6が95.3%(445試行/全89タスク成功)、$574.68の実行を約$15に圧縮 失敗を毎回「実行可能な事前条件」に変え、信頼性を運用基盤から底上げする一本です。 #AIAgents# #TerminalBench#
もっと見る
コンテキストウィンドウが1Mでほぼ頭打ちなのはなぜだろう。たまに2Mとか10Mのオープンモデルは見かけるけどフロンティアモデルはこぞって1Mだし。単純にそれ以上にすると計算コスト・VRAMコストと釣り合わないから圧縮した方が良いというものなのか。
もっと見る
エージェントに本当に長いコンテキストは必要でしょうか。圧縮して進めれば、精度をほぼ保ったまま大幅に安くなるそうです 💸 "You don't need long context" 長いコンテキストはトークン単価の割に実コストが高く、256Kの提供コストは16Kの3.6〜7倍と推定されています。そこで、履歴を溜め込む方式と、要約や1行動ごとの状態更新で会話を作り直す方式を、13のベンチマークで比べた研究です。 注目ポイント 🔁 長期タスクは圧縮しても解ける しきい値で要約して新しい会話を始めても、精度の変化はClaude Opus 4.5で−3.7〜+5.6ポイント、GPT 5.6 Solで−3.3〜+4.4ポイントでした。推定コストは2.2〜8.8倍安くなります。SWE-bench VerifiedではOpusが70.0%から74.8%に上がっています。 📄 長い文書は丸ごと読まなくてよい 文書をファイルに置き、grepやsedで必要な部分だけ読む方式では、Opusが−0.4〜+40.0ポイント、GPTが+1.0〜+30.9ポイントの変化でした。推定コスト削減は最大233.3倍で、文書が長くなっても会話の長さはほぼ一定です。 ⚙️ 1回の行動ごとに状態を更新する Single-Action Compactionは、タスクと要約した状態から1行動だけ取り、状態を更新して会話を捨てます。SWE-bench VerifiedはOpusで70.2%、GPTで82.4%で、ピークの生きたコンテキストは中央値で約77〜99Kトークンでした。 ただし圧縮は不可逆で、コストは推定値です。オープンモデルでは、Qwen 3 Coder Nextが53.0%から3.6%に落ちる例もあります。 #LLMエージェント# #LongContext#
もっと見る
TL;DR: 系列と非系列の特徴を1つのバックボーンで双方向に融合し、有効ランク(eRank)を意識したアテンションで表現の多様性を保つ推薦ランキングモデル「HiRank」の提案です。Taobaoホームページのオンラインテストで、ユーザーあたり注文数が+2.27%向上しました。 タイトル: Unified Heterogeneous Feature Interaction via Effective-Rank Scaling for Recommender Systems URL: ポイント ・🧩 エンコードしてから相互作用させる従来構成をやめ、イベント単位の系列状態を層をまたいで参照 ・🚪 HSTU型のゲート付きアテンションで主行動系列をモデル化 ・🔎 興味クエリと候補クエリの2種で長期履歴メモリを検索し、検索の多様性を確保 ・🔀 系列・検索結果・特徴・候補トークンをトークンミキシングで融合 ・🎯 シナリオ認識の圧縮と複合トークンで、High-Rank Attentionをかける ・📊 オフライン: ホームページGAUC 0.7801(最強ベースライン比+0.0186) ・🛒 オンライン: 注文数/ユーザー +2.27%、GMV/ユーザー +2.86% 💡 モデルを大きくするだけでなく、系列長と表現の多様性が効くという示唆が面白い論文です。 #推薦システム# #LLM#
もっと見る
🚀 100万トークンのコンテキストを扱いながら、KVキャッシュを従来の4分の1まで絞り込んだモデルが登場しました。DeepSeekの新作です。 タイトル: DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression URL: 💡 概要 552Bパラメータのマルチモーダルなミクスチャー・オブ・エキスパート(MoE)モデルで、長時間稼働するエージェント向けの「入力ヘビー」なワークロードを見据え、アーキテクチャと精度の両面からKVキャッシュを徹底的に圧縮しています。 🎯 解決する課題 長いコンテキストを扱うエージェントでは、プレフィル計算だけでなく、永続的なKVキャッシュがGPUメモリ・SSD・I/O帯域幅を圧迫し、デプロイコストの主なボトルネックになっていました。 🛠 方法論と提案手法 前半20層をエンコーダ、後半20層をデコーダとするCausal Encoder-Decoder構造でプレフィル計算量を半減。3モードで層間KVを再利用するCompressed Sparse Attention 2、候補プールに絞った階層型疎インデクサ、FP4量子化などを組み合わせています。 📊 実験結果 グローバルKVフットプリントは1トークンあたり890バイトでV4-Flashの約4分の1、永続KVは約8分の1に削減。コンテキストを4Kから100万へ256倍拡張してもデコードFLOPsは1/4しか増えません。HumanEval 79.4%など主要ベンチマークでも性能向上を確認しています。 #LLM# #KVキャッシュ#
もっと見る
TL;DR 同じ文書が何度も検索されているのに、クエリのたびにまるごと再エンコードするのは無駄ではないでしょうか。DoPRは文書側の計算を一度だけ圧縮して保存し、複数のクエリで使い回すことでLLM再ランキングを高速化します。 タイトル: DoPR: Reusable Compressed Document Prefixes for Efficient LLM Reranking URL: 🔑 注意度に基づいてトップKのサリエントなトークンだけを選び、文書をクエリ非依存の圧縮プリフィックス(KV状態)として一度だけオフラインで計算・保存します ⚡ オンライン再ランキングではクエリとスコアトークンだけを処理すればよく、メモリを最大8.0倍削減、長い文書ではレイテンシを最大8.04倍短縮できました 📊 TREC DL19/DL20やBEIRでNDCG@10の97.1〜99.5%を維持し、モデルサイズが大きいほど圧縮による劣化に強いことも確認されています 🔁 同じ文書を複数クエリで使い回す設定では、DL19でクエリ10件のとき約2倍、長文書中心のCovidデータセットでは5件の時点で3倍超の高速化を達成しました 🧪 アブレーションでは、ランダム選択や先頭K選択よりも注意度ガイドのトップK選択が最良の性能(NDCG@10 71.44)を示し、追加パラメータなしで実現できています 💬 文書コレクションが安定していて繰り返しアクセスされる検索システムほど、この「一度計算して使い回す」発想の恩恵が大きそうです #検索# #LLM#
もっと見る
浙江大学と清華大学の研究チームが、ロボット制御向けの世界モデル(行動を起こすと画像がどう変わるかを予測するモデル)に対して、探索なしで行動を決められる新しい学習法「INTACT」を提案した(https://arxiv[.]org/html/2607.26056v1)。 画像はその全体構成。従来はゴールに近づく行動をCEM(大量の行動候補をランダムに生成してシミュレートし、良さそうなものを選ぶ探索的な計画手法)で毎回探すのが定番で、1回のプランニングに平均1.48秒かかっていた。INTACTは同じオフラインの実演データから「今の状態から実際に起きた変化」と「今の状態からゴールまでの差分」の両方を、1つの共有した行動予測モジュールに同時学習させる。これにより探索を一切使わずにいきなり行動が出せるDirect制御が可能になり、レイテンシは2.9〜5.5ミリ秒まで縮んだ。 PushT/Cube/Reacher/TwoRoomの4タスクをそれぞれ個別に学習したモデルでも、Directだけで成功率85.78%/100.00%/97.67%/97.89%を達成。Direct案の周辺だけをCEMで軽く確認するごく小さな検証(候補384個、CEMの9,000個の23分の1)を足すと、4タスク平均96.86%、最も苦手なタスクでも92.22%まで伸びる。1つのエンコーダ(画像を圧縮した表現に変換する部分)で4タスクを同時に学習させても平均89.39%届き、土台となった従来の世界モデル「LeWM」に対しタスクによっては最大42.44ポイント差をつけた。 興味深いのは、同じ共有エンコーダの設定で行動を出す部分を完全に無効化し、旧来のCEM探索だけで評価しても、INTACTの目的関数で学習した表現のほうが成功率が66.17%から70.08%に伸びる点。行動予測ヘッドを追加しただけでなく、世界モデルの表現そのものを底上げしていることになる。
もっと見る