🚀 100万トークンのコンテキストを扱いながら、KVキャッシュを従来の4分の1まで絞り込んだモデルが登場しました。DeepSeekの新作です。 タイトル: DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression URL: 💡 概要 552Bパラメータのマルチモーダルなミクスチャー・オブ・エキスパート（MoE）モデルで、長時間稼働するエージェント向けの「入力ヘビー」なワークロードを見据え、アーキテクチャと精度の両面からKVキャッシュを徹底的に圧縮しています。 🎯 解決する課題 長いコンテキストを扱うエージェントでは、プレフィル計算だけでなく、永続的なKVキャッシュがGPUメモリ・SSD・I/O帯域幅を圧迫し、デプロイコストの主なボトルネックになっていました。 🛠 方法論と提案手法 前半20層をエンコーダ、後半20層をデコーダとするCausal Encoder-Decoder構造でプレフィル計算量を半減。3モードで層間KVを再利用するCompressed Sparse Attention 2、候補プールに絞った階層型疎インデクサ、FP4量子化などを組み合わせています。 📊 実験結果 グローバルKVフットプリントは1トークンあたり890バイトでV4-Flashの約4分の1、永続KVは約8分の1に削減。コンテキストを4Kから100万へ256倍拡張してもデコードFLOPsは1/4しか増えません。HumanEval 79.4%など主要ベンチマークでも性能向上を確認しています。 #LLM# #KVキャッシュ#

TL;DR 音声LLMのエンコーダを18層から14層まで削っても精度がほぼ落ちない、XPengの圧縮手法「X-AuT」が公開されました。むしろ16層構成では精度が向上しています。 タイトル: X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation URL: ポイント ✂️ 音声エンコーダの層を18→16→14と段階的に削減する「プログレッシブプルーニング」を採用しています 🔍 個々の層の削減スコアだけでは最適なペアが分からず、層同士の相互作用まで評価しているのが面白い点です 🎓 0.6Bの学生モデルを1.7Bの大きな教師モデルで蒸留する「クロススケール蒸留」で自己蒸留より大きく精度を改善しています 📈 16層構成ではパラメータ10.35%削減しつつマクロ平均エラー率5.61%→5.27%に改善 📉 14層構成でもパラメータ20.70%削減で精度低下はわずか+0.14ptに抑えられています 🚗 車載チップ上でエンコーダ処理時間を21.4%、全体レイテンシを4.7%削減しています 🔓 コードとモデルはGitHub・Hugging Faceで公開済み（CC BY-NC 4.0） 層を削るだけでなく「どう賢く削って回復させるか」の設計がよく練られていると感じました。 #音声LLM# #モデル圧縮#

TL;DR 最新の高性能エンコーダがスパース検索では旧世代モデルにすら負けていた原因は「語彙設計のミスマッチ」でした。わずか2万ステップの適応学習でこれを解消し、BEIRで新たなSOTAを達成しています。 タイトル: Why Advanced Encoders Lag on Sparse Retrieval? The Answer and an Approach to Bridging Vocabulary Gaps URL: ポイント 🔤 原因は大文字小文字を区別する生の語彙が意味を無駄に分散させていたこと 🧩 提案手法Vocabulary Transferは語彙移行を3ステップで行う軽量な後付け手法 📊 ModernBERT-VTはBEIRでnDCG@10 52.4を達成し新SOTA 💥 崩壊していたRoBERTa-largeもBEIRスコア1.4から51.3まで劇的に回復 ⚡ 使用トークン数は元の事前学習の0.2%未満という圧倒的な低コスト 🧪 わずか500 MLMステップでほぼ最適な性能に到達 🧬 化学ドメインなど専門語彙への適応でも効果を確認 アーキテクチャの限界だと思われていた問題が、実は語彙の作り直しだけで解決できるというのが面白い発見です。 #情報検索# #LLM#

TL;DR: あらゆるクエリと予算に最適な単一LLMは存在しない。乱立するLLMルーティング研究を「5つの部品」で統一定式化し、16以上のルーターと専用ベンチマークをまとめたオープンソース基盤が登場しました。 タイトル: LLMRouter: Unified Infrastructure for Developing, Evaluating, and Deploying LLM Routers URL: ポイント 🧩 ルーターを Context Encoder / Model Encoder / Scoring / Decision Rule / Learning Signal の5コンポーネントに分解して統一 📊 評価基盤 xRouteBench は Generic・Memory・Vision・TimeSeries・Personalized の5トラック計4,767クエリ 🛠️ 全18候補モデルへ全クエリを投げて作る密なクエリ-モデル行列で、訓練と評価を同時に供給 🚀 学習型ルーターは最強の固定モデル（常に最大を選択）を相対14.6%上回る ⚖️ 万能なルーターは無し。RouterDCは精度首位でもコスト重視だと10位に転落 🔁 マルチターンはコストの割に効果が不安定（Router-R1は22.3%） 👤 ユーザー条件付けは有効だが、実フィードバックとシミュレーションで最良設計が入れ替わる 「最良のルーターはタスクと予算で変わる」を実証し、公平比較の土台を用意した一本です。 #LLM# #ModelRouting#

AIエージェントをエンタープライズシステムに組み込むプラクティス 【階層化メモリ -- 4層メモリとコンテキスト・ブローカー】 💡 毎回ゼロから始まるAIエージェントは、何度も同じ質問をする新入社員と同じです。記憶を4層に分離し、「いま本当に必要な情報だけ」を動的に組み立てる仕組みが、実用レベルのエージェントを作ります。 🔥 解決する課題 - セッション跨ぎの文脈喪失：セッション間・エージェント間で文脈が失われ毎回やり直しになる - 文脈窓の有限性：全履歴を詰め込むとコスト・精度が劣化する - 記憶肥大：無制限な蓄積でコスト・プライバシーリスク・文脈汚染が増大する - Lost in the middle：大量コンテキスト投入でかえって回答精度が下がる 🏗️ 提案パターン メモリを4層に分離します。ワーキング（現セッション・揮発）、エピソード（過去要約・ユーザー単位）、セマンティック（RAG対象の知識）、組織知識（人・部署・関係の知識グラフ）。各層に適切な保存先・TTL・ACLを設定します。コンテキスト・ブローカーがユーザーの意図に応じて各層から情報を取得し、トークン予算内で優先度付け・要約・圧縮を行い、最も関連の高い情報だけでコンテキストを組み立てます。 ✅ 選定条件 - 採用する場合：セッション跨ぎ・エージェント跨ぎで文脈を引き継ぐ継続支援型エージェント - 採用しない場合：一発完結のステートレスタスク、固定の少量コンテキストで足りる用途 ⚠️ 落とし穴 - エピソードメモリの肥大化：生ログではなく要約を残し、重要度スコア + TTL + 時間減衰で制御します - コンテキストブローカーの品質：リランキングの精度が低いと不要情報が混入し、精度が劣化します - ACLの層間整合：メモリ層ごとにACLが異なる場合、集約時に最も厳しい権限に縮退させる設計が必要です 🛠️ 実装方針 1. ベクタDB（Pinecone / Weaviate / pgvector）をセマンティックメモリ層に、Neo4jを組織知識グラフ層に配置し、各層に保存先・TTL・ACLを設定します 2. エピソードメモリは生ログではなく要約パイプラインを通し、重要度スコア＋時間減衰で自動的に忘却・圧縮する仕組みを実装します 3. コンテキスト・ブローカーをリランキング（Cohere Rerank / cross-encoder）で構築し、ユーザーの意図に応じてトークン予算（目安8,000トークン）内で最も関連の高い情報を動的に組み立てます 4. Mem0 / Zepなどのメモリ管理フレームワークを活用し、セッション跨ぎ・エージェント跨ぎのデータ引き継ぎを実装します 5. 各メモリ層にACLタグを付与し、集約時にコンテキスト・ファイアウォール（P10）と連携して最も厳しい権限に縮退させます #AIエージェント# #エンタープライズアーキテクチャ#

# ADKの便利で実践的な使い方 ⚡ Python関数をそのままツールに、エージェントもツールに、そして長時間タスクもノンブロッキングで実行 — ADKのFunction Toolsは、ツール定義の柔軟性を極限まで高めます。 📌 タイトル：Function Tools — 関数・エージェント・非同期タスクをツール化 🔗 URL： 🧩 概要 ADKのFunction Toolsでは、Python/TypeScriptの関数をそのままエージェントのツールとして利用できます。さらに、AgentToolを使えばエージェント自体をツールとして別のエージェントに提供できます。Long Running Function Toolsは、動画エンコードやバッチ処理のような長時間タスクをブロッキングせずに実行するための仕組みです。 🛠 使い方 基本的な関数ツールの定義とAgentToolの活用例です。 `google.adk`から`Agent`と`AgentTool`をインポートします。シンプルな関数ツールとして`calculate_price`を定義し、`base_price`（float）、`quantity`（int）、`discount_percent`（float、デフォルト0）を受け取り、合計金額を計算してdictで返します。 エージェントのツール化には`AgentTool`を使います。まず`analysis_agent`を`name="data_analyst"`、`tools=[query_database]`で定義し、次に`main_agent`の`tools`リストに`calculate_price`関数と`AgentTool(agent=analysis_agent)`を含めます。これにより、メインエージェントは価格計算関数とデータ分析エージェントの両方をツールとして呼び出せます。 Long Running Function Toolsの使い方です。 `google.adk`から`LongRunningFunctionTool`をインポートします。非同期関数`encode_video`は`video_url`（str）と`format`（str、デフォルト"mp4"）を受け取り、`start_encoding_job`でエンコードジョブを開始してジョブIDを返します。この関数を`LongRunningFunctionTool(func=encode_video)`でラップして`video_tool`を作成し、`Agent`の`tools=[video_tool]`に渡すことで、エージェントがブロッキングなしで長時間処理を実行できます。 🏗 実践的な使い方 **AgentToolによるモジュール化**: 複雑な処理を専門エージェントとしてカプセル化し、AgentToolで公開することで、メインエージェントのinstructionをシンプルに保てます。専門エージェントは独自のツールやプロンプトを持てるため、関心の分離が実現します。 `summarizer`（3行要約）と`translator`（英語翻訳）をそれぞれ`Agent`で定義し、メインの`content_manager`エージェントの`tools`リストに`AgentTool(agent=summarizer)`と`AgentTool(agent=translator)`として登録します。これにより、メインエージェントは要約と翻訳の専門エージェントをツールとして呼び出し、コンテンツ管理の依頼を処理できます。 **Long Running Toolsの活用場面**: バッチ処理、外部APIのポーリング待ち、ファイル変換など、完了まで数秒〜数分かかる処理に最適です。エージェントはジョブIDを受け取り、他のタスクを並行して進められます。 **型アノテーションの重要性**: 関数のパラメータ型と戻り値型を明確に定義することで、LLMが正確にツールを呼び出せます。docstringもツールの説明として使われるため、簡潔で明確に書きましょう。 💡 ユースケース 🧮 計算・変換関数のツール化（価格計算、単位変換） 🤖 専門エージェントのAgentTool化による再利用 🎬 動画エンコード・画像処理の非同期実行 📊 バッチデータ処理のノンブロッキング実行 ⚠️ 注意点 - 関数のdocstringがツールの説明になるため、LLMが理解しやすい説明を書いてください。docstringがないとツールの用途が不明確になります。 - AgentToolで呼び出されたエージェントは、親エージェントのコンテキストとは別のセッションで動作します。状態の共有には注意が必要です。 - Long Running Function Toolsは完了通知の仕組みを別途実装する必要があります。ポーリングや Webhook での通知を検討してください。 ✨ Function Toolsを使えば、既存のコード資産をそのままエージェントに統合でき、AgentToolでエージェントの再利用も自在。開発効率を大幅に向上させましょう！ #ADK# #AIAgent#