推荐这篇文章，Together AI 的 ThunderAgent（ICML 2026 Spotlight）。 把 agent 工作流当成一个"程序"来调度，而非一系列无关的请求——单节点吞吐翻倍，8 节点近线性扩展。 Together AI 在 7 月 29 日发布了 ThunderAgent——一个面向 agentic 推理的高吞吐调度系统。ICML 2026 Spotlight 论文。核心贡献：把 agent workflow 抽象为"程序"而非"一系列不相关的请求"。 问题：KV Cache Thrashing Agent 工作流在两个阶段之间交替：GPU 密集的推理阶段和 GPU 空闲的等待工具返回阶段。当数百个 agent 并发运行时，各自的 KV cache 在每轮不断增长，竞争有限的 GPU 内存。 传统推理引擎（vLLM、SGLang、TensorRT-LLM）按请求级别调度——agent A 暂停等待工具调用时，它的 KV cache 被 LRU 淘汰腾出空间给 agent B 的 prefill。当 A 的工具返回，引擎必须从头重算 A 的整段对话历史，这又淘汰了 C 的 cache。高并发下，这种淘汰和重算的级联反应导致严重的吞吐量和延迟退化——论文称之为 KV cache thrashing。 能通过加 GPU 节点解决吗？不完全。现有多节点路由器（如 SGLang Gateway）把每个 agent 钉在固定节点上以保留 cache 局部性——但 agent 的上下文长度不可预测增长，某些节点被赋予长上下文 agent 导致内存耗尽，其他节点闲置。 能通过 KV cache offloading 解决吗？也解决不了。LMCache 和 HiCache 把 KV cache 卸载到 CPU 内存或磁盘，扩大了总容量但只是延迟 thrasthing。当并发 agent 的工作集超过所有存储层级时，淘汰恢复，同一个恶性循环重现。 ThunderAgent 的解法 ThunderAgent 在 agentic 客户端和推理后端之间插入一个轻量调度层。它将每个 agent 工作流抽象为一个可调度程序（program），追踪其执行阶段、KV cache 占用和节点位置。 Program-level admission control：监控每个节点的内存压力，选择性暂停低优先级工作流，减少竞争 cache 的程序数量。当被暂停的工作流准备恢复时，通过全局等待队列路由到容量最充足的节点。 多节点部署：用全局等待队列替代了基于 session 的静态节点绑定。暂停的工作流恢复时被路由到可用容量最多的节点，在 KV cache 局部性和多节点负载均衡之间取得平衡。 评测 集成在 Together AI 自己的合成数据生成管道里——就是产生 CoderForge 等数据集的那套基础设施。对比 SGLang 默认调度器： 单节点 8×H100（HiCache offloading），batch size 192： • SGLang：吞吐 390 token/s，平均延迟 65s • ThunderAgent：吞吐 803 token/s，平均延迟 10.6s 多节点（2→8 节点）： • 近线性扩展，16 GPU 到 64 GPU 吞吐从 671 增长到 2248 steps/min • 加速比随集群规模增大：2 节点 1.79× → 8 节点 2.39× 使用 一个 program_id 字段，OpenAI 兼容 API，直接适配现成的 offloading 和 speculative decoding。已被 SkyRL 和 NVIDIA Dynamo 集成。 GitHub： 论文： #AgentInference# #KVcache# #ThunderAgent#

[Windows] 迅雷2025【25.0.6.1188】绿色精简版，来自吾爱论坛大佬映梓 最新制作的迅雷Thunder 2025【 25.0.6.1188】绿色精简版，基于迅雷2025 【 25.0.6.1188】官方最新版原汁原味深度精简绿化采用绿色自解压封装技术，一键解压即可快速部署，即刻畅享高速下载体验专为追求简洁、注重系统资源效率的用户量身定制核心功能完整保留，极致体验远超官方原版 毕竟精简优化版，云盘功能不能用，但是界面十分干净，强迫症福音 #windows# #迅雷#

#软件资讯# 奇怪的问题又增加了：#Mozilla# 不慎将 GPG 签名密钥上传到某个私有的存储库中，目前已经紧急吊销旧签名密钥换成新签名密钥。 该问题仅影响 Linux 版 Firefox 和 Thunderbird，签名文件主要用来校验安装包。 如果用户需要手动校验，需要下载导入新签名和旧签名的吊销信息。 查看全文：

速度达25.9MBs，迅雷最新融合破解版！！ 高速下载无限制，去除广告更清爽，体验极速下载快感 融合版Thunder 12.2.1.2930【11.2.2.1716】带云盘.rar 🔗：

速度达25.9MBs，迅雷最新融合破解版！！ 高速下载无限制，去除广告更清爽，体验极速下载快感 融合版Thunder 12.2.1.2930【11.2.2.1716】带云盘.rar 🔗：

伟大的美国州博览会(The Great American State Fair)周四(7月2日)以“美国的动力精神”为主题。活动当天，美国空军雷鸟(Thunderbirds)飞行表演队飞越华府上空，以精湛飞行技术呼应主题，也为现场增添震撼气势。 更多内容👉

硅谷那帮搞 AI 的圈子最近都在偷着用这玩意。 以前想在本地跑 70B 甚至更大参数的顶尖大模型，你非得砸几万块去买高配显卡，一般人的电脑根本别想动。 但 GitHub 上这个开源项目直接把路走宽了——它能把你家里的旧 Mac、旧笔记本、甚至几台普通电脑组网拼成一个“算力集群”！显存直接叠加，拿去硬啃以往根本跑不动的大模型！ GitHub Stars：44,500+ 星  开源协议：Apache-2.0 核心功能：分布式 AI 本地推理集群框架 核心卖点： 零配置自动联机：同一局域网设备开机自动发现，不用手动搭复杂网络。 显存爆改加算力：多台设备显存自动打通拼接，70B 大模型轻松分片切着跑。 速度狂飙：支持雷电线 (Thunderbolt) 硬件直连，延迟低到像在一台机器上跑。 无缝对接已有工具：自带 OpenAI / Claude 标准 API 接口，套壳应用直接无缝切换。 🔗 项目地址：