Max For AI
@MaxForAI
Head of hype @lobehub
Prev @listenhub @Sapient_Int
没啥好看的，也就发点AI相关的内容🫡
同名小红书4万粉丝，公众号01Founder（长文首发）
观点仅代表个人
更多请访问网站⬇️（欢迎商务、合作
参加 September 2023
3K フォロー中 44.3K ファン
今天有个搞Infra的小男娘发消息跟我说
这是他成年以来最好的秋天
这一年他终于找到了做推理优化的工作
每天和GPU、Kernel、MoE、KV Cache打交道
以前想研究DeepSeek的推理系统，只能对着论文、技术博客和Benchmark，一点点猜他们线上到底是怎么跑的
今天DeepSeek突然把DeepInfer开源了
分布式推理、推测解码、SWA Bounded Replay，连调度器和高性能算子都放出来了
英伟达和华为昇腾都支持，连生产级的Token编解码组件也一起开源
过去要花几个月研究的东西，现在直接就能在GitHub上看源码
今天下午他坐在工位上
突然整个Infra群都沸腾了
所有人停下手头的调参，开始疯狂Clone仓库
有人在看Kernel，有人在研究调度器，还有人在讨论怎么把公司祖传的推理框架换掉
他说很开心
有种人类Infra黄金时代的错觉
もっと見る
