Max For AI
@MaxForAI
Head of hype @lobehub
Prev @listenhub @Sapient_Int
没啥好看的，也就发点AI相关的内容🫡
同名小红书4万粉丝，公众号01Founder（长文首发）
观点仅代表个人
更多请访问网站⬇️（欢迎商务、合作
加入 September 2023
3K 正在关注 43.7K 粉丝
笑死我了，才发现DeepSeek在官方部署DeepInfer文档里，专门提醒了一件事：小心光纤被施工挖断🤣
原文讲到在V4.1 Flash的部署问答里，DeepSeek解释，由于KV缓存被大幅压缩，处理输入的Prefill和生成输出的Decode，在技术上可以分开放到不同的数据中心，建议每8张GPU预留约400Gbps的互联带宽。
讲到可靠性的时候，文档非常认真地举了个例子：数据中心之间的光纤容易被施工挖断。
后面还补充了一句，DeepSeek自己的推理节点，就部署在不同但相邻的数据中心里。
合理怀疑是不是之前DeepSeek遇到过这样的情况🤔
显示更多
