注册并分享邀请链接,可获得视频播放与邀请奖励。

搜索结果 DeepIn
DeepIn 贴吧
一个关键词就是一个贴吧,路径全站唯一。
创建贴吧
用户
未找到
包含 DeepIn 的推特
和deepin首席设计总监,好兄弟,喝酒
上周五在DeepInsighr社区第二期X Space上聊了一个话题:科技股AI/半导体暴跌后会怎么走? 观点部分来自对跨代技术/半导体的历史周期研究,成果还没来得及做成视频呢,相当于是剧透了。 逻辑可以参考一下,但结论还是大家自己下。Space相关音频配字幕放油管了,欢迎斧正:
显示更多
当年创建 deepin 的苦 一半都被台球室混球给治愈了 有时候,想想创业自己快乐就好,跟外人无关
周五晚8点半DeepInsight社群举办第二次X Space线上交流,我又再次献丑了,谈了点“Anthropic和OpenAI估值对比” 和AI产业估值问题 本人普通话实在太普通,所以为录音配了字幕放在油管上,感兴趣的朋友可以听听
显示更多
笑死我了,才发现DeepSeek在官方部署DeepInfer文档里,专门提醒了一件事:小心光纤被施工挖断🤣 原文讲到在V4.1 Flash的部署问答里,DeepSeek解释,由于KV缓存被大幅压缩,处理输入的Prefill和生成输出的Decode,在技术上可以分开放到不同的数据中心,建议每8张GPU预留约400Gbps的互联带宽。 讲到可靠性的时候,文档非常认真地举了个例子:数据中心之间的光纤容易被施工挖断。 后面还补充了一句,DeepSeek自己的推理节点,就部署在不同但相邻的数据中心里。 合理怀疑是不是之前DeepSeek遇到过这样的情况🤔
显示更多
0
25
196
3
转发到社区
DeepSeek 把自家线上用的推理框架 DeepInfer 开源了,同时放出 Token 编解码组件 deepseek-recipe。 5 分钟看懂: · 单一集群服务吞吐 155 万亿 Token/天,按谷价每卡每小时收入 38 美元(DeepSeek 公布) · Prefill 用 8 卡机器、Decode 用 64~128 卡超节点(Wide EP) · KV Cache 放进独立 3FS 集群(约 100 PiB SSD),平均缓存命中率 96% · SWA Bounded Replay:缺了只重算最近 128 个 Token,decoder 层总 Prefill 计算量几乎减半 · DSpark 变长验证:线上吞吐 +6% 边界:开源版提供离线推理,KV Cache 系统、分离部署和副本间负载均衡暂未包含;推荐最小高效部署 64+64 卡。
显示更多
大肥鱼来介绍一下自家开源的大规模推理引擎DeepInfer
其实除了订阅我常用的模型也就这几种:DeepSeek 通用模型,现在还有多模态,国内 DeepSeek,国际 DeepInfra;Voyage 跑 embedding 和 reranking(其实我真的觉得重排没有必要,属于苦涩的教训类方法,混合检索更有价值)。视觉模型在 Comfy 上用,工作流和无审查,还帮我处理好 GPU 的问题。
显示更多
今天《AI值得看》11 条信息,把资讯连起来看很有意思,比如“今天的 OpenAI 缓存存12小时”和“DeepSeek 开源DeepInfer”,信息点就有很好的交叉 谷歌出的论文《自进化智能体是持续学习者吗》:学新容易忘旧,可塑性越高越不稳,也很有意思,值得看下 00:00 Tibo 补4万账户额度 00:35 OpenAI 缓存存12小时 01:09 Omnii-1 AI噬菌体入临床 02:45 Ornith-1.5-122B 单卡跑 03:16 Voxtral 3 语音全家桶 04:47 Pocket TTS 极小模型 06:37 Krea 3 图像新模型 07:44 Fibo 2.0 开源编辑第一 08:36 谷歌 自进化智能体论文 10:38 DeepSeek 开源DeepInfer 15:59 TorchTPU 跑PyTorch
显示更多
今天有个搞Infra的小男娘发消息跟我说 这是他成年以来最好的秋天 这一年他终于找到了做推理优化的工作 每天和GPU、Kernel、MoE、KV Cache打交道 以前想研究DeepSeek的推理系统,只能对着论文、技术博客和Benchmark,一点点猜他们线上到底是怎么跑的 今天DeepSeek突然把DeepInfer开源了 分布式推理、推测解码、SWA Bounded Replay,连调度器和高性能算子都放出来了 英伟达和华为昇腾都支持,连生产级的Token编解码组件也一起开源 过去要花几个月研究的东西,现在直接就能在GitHub上看源码 今天下午他坐在工位上 突然整个Infra群都沸腾了 所有人停下手头的调参,开始疯狂Clone仓库 有人在看Kernel,有人在研究调度器,还有人在讨论怎么把公司祖传的推理框架换掉 他说很开心 有种人类Infra黄金时代的错觉
显示更多
0
60
987
51
转发到社区