注册并分享邀请链接,可获得视频播放与邀请奖励。

川沐|Trumoo🐮
@xiaomustock
一个自由的AI股票大宗期权纯二级韭菜交易员 -所有内容不构成任何投资建议-不会参与接受任何推广和广告-不会私聊任何人不碰任何人资金-任何借我名义私聊或者推广或者收费或其他地方假借助理顾问也都是诈骗,谨防上当。 推特只用作自身投资笔记,悉知。
加入 March 2022
546 正在关注    286.9K 粉丝
deepseek做了一个创新, 将键值对暂存在解码 GPU 服务器DRAM内存 主要结果如下: 离线服务吞吐量最高可提升 1.87 倍 在线服务的并发性能平均提高了 1.96 倍
显示更多
cool idea from DeepSeek in their DualPath paper! instead of loading all KV's directly onto GPUs from local NVMe (or DRAM) and bottlenecking on the local PCIe bus, they can stage the KV's in the DRAM on the decode GPU servers, and then transfer the KV's to the prefill GPUs via GDRDMA
显示更多
0
13
48
7
转发到社区