摸鱼巨匠🔨(@SunNeverSetsX):今天看了个 Baseten CEO Tuhin Srivastava 谈 AI 推理危机的播客一句话核心：推理正在变成 AI 行业最后一个也是最大的市场。算力极度紧缺，谁能拿到 GPU 并做出足够好的软件层，谁就能赢。 Tuhin 透露了几个硬核数据： • Baseten 过去一年增长 30 倍，今年预期收入超 10 亿美元 • 他们的 GPU 集群利用率在中高位 90% • 目前覆盖 18 个云厂商、全球 90 个集群，新云厂商引入到整个推理栈上线只需半天 • 95% 以上的 token 在跑自定义模型，几乎没人用原版开源权重，客户都在用自己的数据微调关于开源模型和地缘政治，Tuhin 的态度很务实： DeepSeek 和 Moonshot 这些中国模型真的非常好。如果把深寻当 Meta 的模型来用、来准备，比纠结它的来源更有意义。他同时强调美国确实需要自己的开源模型：五家中国实验室在做开源模型，我们连一个都设得如此艰难，这本身就很说明问题。关于算力市场的现实：现在从好的云厂商拿 1000 张 B200，至少需要 3-5 年合同 + 20-30% TCV 预付款。不仅是产能短缺，能真正运营好数据中心的靠谱供应商也极少——可能只有十几个像样的云，其中只有三四个是金牌级别的。最有意思的是他对 agent 和推理反馈循环的判断：推理和 post-training 是一体两面。推理产生数据，数据用来评估，评估结果用来 post-training，形成整个循环。计算成本越低，意味着可以在更多地方嵌入更多智能。这就是 Jevons Paradox 在 AI 领域的体现。

2026.05.11 16:43

今天看了个 Baseten CEO Tuhin Srivastava 谈 AI 推理危机的播客一句话核心：推理正在变成 AI 行业最后一个也是最大的市场。算力极度紧缺，谁能拿到 GPU 并做出足够好的软件层，谁就能赢。 Tuhin 透露了几个硬核数据： • Baseten 过去一年增长 30 倍，今年预期收入超 10 亿美元 • 他们的 GPU 集群利用率在中高位 90% • 目前覆盖 18 个云厂商、全球 90 个集群，新云厂商引入到整个推理栈上线只需半天 • 95% 以上的 token 在跑自定义模型，几乎没人用原版开源权重，客户都在用自己的数据微调关于开源模型和地缘政治，Tuhin 的态度很务实： DeepSeek 和 Moonshot 这些中国模型真的非常好。如果把深寻当 Meta 的模型来用、来准备，比纠结它的来源更有意义。他同时强调美国确实需要自己的开源模型：五家中国实验室在做开源模型，我们连一个都设得如此艰难，这本身就很说明问题。关于算力市场的现实：现在从好的云厂商拿 1000 张 B200，至少需要 3-5 年合同 + 20-30% TCV 预付款。不仅是产能短缺，能真正运营好数据中心的靠谱供应商也极少——可能只有十几个像样的云，其中只有三四个是金牌级别的。最有意思的是他对 agent 和推理反馈循环的判断：推理和 post-training 是一体两面。推理产生数据，数据用来评估，评估结果用来 post-training，形成整个循环。计算成本越低，意味着可以在更多地方嵌入更多智能。这就是 Jevons Paradox 在 AI 领域的体现。

显示更多