上周五在DeepInsighr社区第二期X Space上聊了一个话题:科技股AI/半导体暴跌后会怎么走?
观点部分来自对跨代技术/半导体的历史周期研究,成果还没来得及做成视频呢,相当于是剧透了。
逻辑可以参考一下,但结论还是大家自己下。Space相关音频配字幕放油管了,欢迎斧正:
顯示更多
当年创建 deepin 的苦
一半都被台球室混球给治愈了
有时候,想想创业自己快乐就好,跟外人无关
周五晚8点半DeepInsight社群举办第二次X Space线上交流,我又再次献丑了,谈了点“Anthropic和OpenAI估值对比” 和AI产业估值问题
本人普通话实在太普通,所以为录音配了字幕放在油管上,感兴趣的朋友可以听听
顯示更多
笑死我了,才发现DeepSeek在官方部署DeepInfer文档里,专门提醒了一件事:小心光纤被施工挖断🤣
原文讲到在V4.1 Flash的部署问答里,DeepSeek解释,由于KV缓存被大幅压缩,处理输入的Prefill和生成输出的Decode,在技术上可以分开放到不同的数据中心,建议每8张GPU预留约400Gbps的互联带宽。
讲到可靠性的时候,文档非常认真地举了个例子:数据中心之间的光纤容易被施工挖断。
后面还补充了一句,DeepSeek自己的推理节点,就部署在不同但相邻的数据中心里。
合理怀疑是不是之前DeepSeek遇到过这样的情况🤔
顯示更多
DeepSeek 把自家线上用的推理框架 DeepInfer 开源了,同时放出 Token 编解码组件 deepseek-recipe。
5 分钟看懂:
· 单一集群服务吞吐 155 万亿 Token/天,按谷价每卡每小时收入 38 美元(DeepSeek 公布)
· Prefill 用 8 卡机器、Decode 用 64~128 卡超节点(Wide EP)
· KV Cache 放进独立 3FS 集群(约 100 PiB SSD),平均缓存命中率 96%
· SWA Bounded Replay:缺了只重算最近 128 个 Token,decoder 层总 Prefill 计算量几乎减半
· DSpark 变长验证:线上吞吐 +6%
边界:开源版提供离线推理,KV Cache 系统、分离部署和副本间负载均衡暂未包含;推荐最小高效部署 64+64 卡。
顯示更多
大肥鱼来介绍一下自家开源的大规模推理引擎DeepInfer
其实除了订阅我常用的模型也就这几种:DeepSeek 通用模型,现在还有多模态,国内 DeepSeek,国际 DeepInfra;Voyage 跑 embedding 和 reranking(其实我真的觉得重排没有必要,属于苦涩的教训类方法,混合检索更有价值)。视觉模型在 Comfy 上用,工作流和无审查,还帮我处理好 GPU 的问题。
顯示更多
今天《AI值得看》11 条信息,把资讯连起来看很有意思,比如“今天的 OpenAI 缓存存12小时”和“DeepSeek 开源DeepInfer”,信息点就有很好的交叉
谷歌出的论文《自进化智能体是持续学习者吗》:学新容易忘旧,可塑性越高越不稳,也很有意思,值得看下
00:00 Tibo 补4万账户额度
00:35 OpenAI 缓存存12小时
01:09 Omnii-1 AI噬菌体入临床
02:45 Ornith-1.5-122B 单卡跑
03:16 Voxtral 3 语音全家桶
04:47 Pocket TTS 极小模型
06:37 Krea 3 图像新模型
07:44 Fibo 2.0 开源编辑第一
08:36 谷歌 自进化智能体论文
10:38 DeepSeek 开源DeepInfer
15:59 TorchTPU 跑PyTorch
顯示更多
今天有个搞Infra的小男娘发消息跟我说
这是他成年以来最好的秋天
这一年他终于找到了做推理优化的工作
每天和GPU、Kernel、MoE、KV Cache打交道
以前想研究DeepSeek的推理系统,只能对着论文、技术博客和Benchmark,一点点猜他们线上到底是怎么跑的
今天DeepSeek突然把DeepInfer开源了
分布式推理、推测解码、SWA Bounded Replay,连调度器和高性能算子都放出来了
英伟达和华为昇腾都支持,连生产级的Token编解码组件也一起开源
过去要花几个月研究的东西,现在直接就能在GitHub上看源码
今天下午他坐在工位上
突然整个Infra群都沸腾了
所有人停下手头的调参,开始疯狂Clone仓库
有人在看Kernel,有人在研究调度器,还有人在讨论怎么把公司祖传的推理框架换掉
他说很开心
有种人类Infra黄金时代的错觉
顯示更多