가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.

Michael Guo
@Michaelzsguo
Building AI agents and AI-native orgs. Demystifying AI in practice. EN/中文 (Selected build notes, experiments, and practical tips at the website link.)
가입 January 2022
426 팔로잉 중    9.1K 팬
那么为什么同意1MW电力, 现在能给OpenAI/Anthropic赚更多的钱? 推动这个变化的,不只是GPU更快。 GB300、TPUv7、Trainium3等新芯片,每瓦性能可能是上一代的3至5倍;模型蒸馏、量化、缓存和推理调度,让每块芯片可以处理更多请求;而Codex这样的Agent,又把AI从偶尔回答一个问题,变成持续数小时甚至数天完成工作。 成本端,每 MW 可以产生更多 token。收入端,每个 token 可以完成价值更高的工作。 当模型可以直接写代码、做研究、分析财务和执行企业流程,实验室出售的就不再只是token,而是部分白领工作的产出。 这也形成了一个强大的飞轮:更好的模型产生更高的单位算力收入;更高的收入允许实验室用更高价格抢购算力;更多算力又被投入下一代模型训练。
더 보기
@dwarkesh_sp 最新一期的访谈让人对token economy有更具体的认知。 过去大家谈 OpenAI 和 Anthropic,最常见的问题是:它们到底要烧多少钱? 但 SemiAnalysis 创始人 Dylan Patel 在与 Dwarkesh Podcast 对话中提出,AI 实验室的经济模型可能已经发生了根本变化。 一年前,OpenAI 用 Hopper GPU 运行 GPT-4,卖出 token 后甚至可能还是负毛利。 现在,AI 算力的基础成本大约是每年每 MW 1000万至1500万美元,而 Anthropic 每 MW 算力创造的收入最高已经达到约5000万美元。Dylan 认为,OpenAI 和 Anthropic 正在向每 MW 1亿美元收入发展。 换句话说,以前花1000万美元购买算力,可能连成本都收不回来。现在,同样的算力可能产生5000万美元收入。 Dylan预计,到2027年底,OpenAI和Anthropic可能拿走全球新增AI算力的40%至50%。不一定是自己建设,而是因为它们最有能力为这些算力支付最高价格, 他们能让每一兆瓦电力,产生最多可以收费的智能。
더 보기