cv usk(@cv_usk):エージェントのツール待ちでGPUが遊ぶなら、復帰タイミングまで見てスケジューリングすればよいはずです。 TAO: Tool-Aware Joint Scheduling for LLM-Based Agentic Serving https://t.co/2ewEiWj4De 🔎 概要 LLM推論とツール実行を繰り返すエージェント向けに、ツールの復帰時刻とKVキャッシュ再利用を合わせて評価し、受け入れるセッションを組合せ最適化で決めるスケジューラです。 ⚠️ 解決する課題・既存のスケジューラはツール復帰のタイミングを直接使わない・セッション単位の貪欲な判断で、容量を奪い合う別の組合せを塞いでしまう 🛠 方法論・セッションごとに「減衰するキャッシュ価値（半減期10秒）」「ツール復帰の準備完了」「トークン数」の3つを順に比較・容量状態の動的計画法で、待機セッションの選択とノード割当を同時に決定・DPは非同期ワーカーで走り、適用前に実際の状態と照合。オーバーヘッドは実行時間の0.12%未満 📊 実験結果・DeepSeek-V4 Flash、SWE-Lite、64ワーカーで、最良ベースライン比で遅延最大26.8%減、TTFT最大36.3%減、デコード最大29.5%増・DPをBFDに替えると、デコードは1417.97から1233.72 tok/sへ低下・一方、AutomationBenchの128ワーカーではTTFTが悪化するなど、全条件で勝つわけではありません #LLMServing #AIAgents

2026.11.06 03:50

エージェントのツール待ちでGPUが遊ぶなら、復帰タイミングまで見てスケジューリングすればよいはずです。 TAO: Tool-Aware Joint Scheduling for LLM-Based Agentic Serving 🔎 概要 LLM推論とツール実行を繰り返すエージェント向けに、ツールの復帰時刻とKVキャッシュ再利用を合わせて評価し、受け入れるセッションを組合せ最適化で決めるスケジューラです。 ⚠️ 解決する課題・既存のスケジューラはツール復帰のタイミングを直接使わない・セッション単位の貪欲な判断で、容量を奪い合う別の組合せを塞いでしまう 🛠 方法論・セッションごとに「減衰するキャッシュ価値（半減期10秒）」「ツール復帰の準備完了」「トークン数」の3つを順に比較・容量状態の動的計画法で、待機セッションの選択とノード割当を同時に決定・DPは非同期ワーカーで走り、適用前に実際の状態と照合。オーバーヘッドは実行時間の0.12%未満 📊 実験結果・DeepSeek-V4 Flash、SWE-Lite、64ワーカーで、最良ベースライン比で遅延最大26.8%減、TTFT最大36.3%減、デコード最大29.5%増・DPをBFDに替えると、デコードは1417.97から1233.72 tok/sへ低下・一方、AutomationBenchの128ワーカーではTTFTが悪化するなど、全条件で勝つわけではありません #LLMServing# #AIAgents#