DeepSeek 把自家线上用的推理框架 DeepInfer 开源了,同时放出 Token 编解码组件 deepseek-recipe。
5 分钟看懂:
· 单一集群服务吞吐 155 万亿 Token/天,按谷价每卡每小时收入 38 美元(DeepSeek 公布)
· Prefill 用 8 卡机器、Decode 用 64~128 卡超节点(Wide EP)
· KV Cache 放进独立 3FS 集群(约 100 PiB SSD),平均缓存命中率 96%
· SWA Bounded Replay:缺了只重算最近 128 个 Token,decoder 层总 Prefill 计算量几乎减半
· DSpark 变长验证:线上吞吐 +6%
边界:开源版提供离线推理,KV Cache 系统、分离部署和副本间负载均衡暂未包含;推荐最小高效部署 64+64 卡。
显示更多
前些天英伟达,昨天谷歌,今天苹果,纳斯达克每天疯狂一个公司。。。每天都在新高。。
哎,太爽了科技投资人们。
三星和谷歌同一天给手机涨价,谷歌Pixel 10a从499美元涨到599美元,三星S26全系涨100美元,Ultra的1TB版涨了200
上个月苹果iPhone Pro起步价也刚涨了100美元
三家背后是同一件事,内存和存储太贵了
内存涨价,居然真摊到每个人手机上了
显示更多
來谷關泡湯♨️,原本好好的天氣突然下大雨
老街行程泡湯😭
谷歌 Q2 财报冰火两重天!!!
总营收、云业务全线大超预期,云收入同比暴涨 82%,在手订单突破 5000 亿 ,但市场直接用脚投票,盘中大跌 4%、盘后最深跌 5%
核心原因:全年 AI 资本开支上调至 1950-2050 亿美元,二季度自由现金流上市以来首次转负,AI 烧钱速度远超现金流造血能力
Gemini 月活 9500 万,同步启动 Gemini 4 训练;自研 TPU 正式对外售卖
后续还是得看微软、亚马逊财报对标 AI 投入与现金流压力 $GOOGL $MU $SPCX $NVDA
显示更多
有没有朋友知道
谷歌21天发布3款旗舰模型碳、氢、氖
是团队来了个天才,还是已经实现了RSI???