註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

檢索結果 AIInfra
AIInfra 貼吧
一個關鍵字就是一個貼吧,路徑全站唯一。
建立貼吧
用戶
未找到
包含 AIInfra 的搜尋結果
鴻海宣布投資高雄白埔產業園區,建置新一代 AI 關鍵產品生產基地! 面對 AI 需求強勁,鴻海近期積極展開全球擴產,此次首度在高雄佈建 AI 產能,深化從 AI 關鍵模組、系統至整機的垂直整合能力,並鞏固台灣在鴻海全球 AI 供應鏈的核心地位。 鴻海先前已在高雄陸續成立軟體中心、電動巴士以及電池工廠;近期也因高雄具備優良的 AI 資料中心設立條件,鴻海正在構建最新的超算中心。日後將結合當地與台灣完整的產業生態系、技術及人才,與全球夥伴共創價值並搶攻 AI 商機! #AI# #AIInfrastructure# #Kaohsiung# #AISupplyChain# #HonHaiTechnologyGroup#
顯示更多
刚刷推看到个事儿,差点划走。 @RaxFinance 在搞一个全栈RWA层,专门给AI基础设施用的——不只是租GPU,而是直接拥有驱动AI算力的电力网络。 说白了就是:AI要算力,算力要电,RAX要把发电厂和算力打通。 这个叙事有点东西,不是那种空中楼阁的项目,是真的在链上锚定实体资产。 早期阶段,先占个位。 👉 #RAXFinance# #AIInfrastructure# #RWA#
顯示更多
0
46
49
0
轉發到社區
ZERO Market Flash #003# 第二次“中国AI冲击波”,市场又看错了吗? ——为什么更便宜的AI,可能意味着更大的基础设施需求 去年(2025年)1月,DeepSeek发布后,市场迅速形成一个判断:如果更少的GPU就能训练出优秀模型,那么未来AI基础设施需求将下降。当天,NVIDIA股价大跌近17%,整个AI产业链承受巨大压力。 一年多之后,类似的故事再次出现。 Kimi K3再次证明,中国公司能够以更低成本推出具有竞争力的大模型。市场随之提出了一个熟悉的问题:模型越来越便宜,是否意味着未来需要更少的GPU? 然而,Kimi随后宣布暂停新的订阅服务,原因不是模型能力不足,而是用户需求迅速增长,GPU容量已接近部署上限。 真正率先达到瓶颈的,并不是模型能力,而是模型开始被大规模使用后的算力供给。 过去几年,AI竞争几乎一直围绕训练(Training)展开。谁拥有更多GPU,谁训练出更大的模型,谁就拥有更强的竞争优势。因此,当训练成本不断下降时,市场自然推导出一个结论:未来需要的GPU会越来越少。 但这个推导隐含着一个前提——AI的价值主要来自训练。真正需要回答的问题是:如果AI变得更便宜、更好用,会不会有更多企业和个人开始使用它? 一个模型可能只训练一次,却会每天完成数百万、数千万,甚至数十亿次推理(Inference)。真正长期消耗算力的,并不是一次训练,而是持续不断发生的推理请求。 技术进步降低的是单位成本,真正决定产业规模的,却往往是需求增长的速度。如果应用普及快于单位成本下降,整体基础设施需求不仅不会减少,反而可能继续扩大。 这也是为什么,Kimi公布GPU容量接近上限,比模型本身更值得关注。市场讨论的是训练成本,而现实首先出现的,却是部署能力开始承受压力。 这也让SK集团会长崔泰源提出的“Memory正从Price-driven走向Volume-driven”有了新的解释:未来推动行业增长的,也许不只是价格,而是不断扩大的部署规模。 因此,这次所谓的“第二次中国AI冲击波”,留下的或许并不是一个关于模型竞争的故事,而是一个关于需求扩张的故事。真正值得关注的,不是谁能够以更低成本训练模型,而是谁能够长期支撑越来越多用户、越来越多Agent,以及越来越多的推理请求。 一年之前,市场因为DeepSeek重新评估了训练成本。一年之后,Kimi提醒市场,也许真正需要重新评估的,是部署需求。 训练创造模型。部署创造产业。 —— 本文仅代表个人研究观点,不构成任何投资建议。请独立研究,自行决策。 ZERO 优秀,不足以托付。
唯有最好,方可重仓。 Scientist · Doctor · A9 Investor Search Tags #AI# #ArtificialIntelligence# #KimiK3# #MoonshotAI# #DeepSeek# #Inference# #Deployment# #Training# #AIAgents# #GPU# #NVIDIA# #Memory# #HBM# #DRAM# #Semiconductors# #AIInfrastructure# #Datacenter# #SKHynix# #SNDK# #Micron# #AIInvesting# #TechInvesting# #ZERO#
顯示更多
所有人都在买英伟达,没人注意到这根连接所有AI芯片的管道——Nokia 上一篇写了为什么nokia是最便宜的光,今天再来详细分析一下4月份的财报和未来方向。有没有可能重现1999-2000年的parabolic move? 一、先说一个被忽视的逻辑 AI投资的讨论永远围绕着芯片——谁的GPU更快、谁的HBM供货更足。但没人问一个更基础的问题这些GPU之间,用什么连接? 数据中心里成千上万颗GPU需要实时互相通信,传输的数据量是普通网络的数百倍。现有的网络基础设施正在被这股流量压垮。打通这个瓶颈,就是下一个十亿美元级别的机会。Nokia就站在这个瓶颈的收费站口。 二、4月份财报说了什么 表面数据:Q1净营收45亿欧元,整体年增率4%。很多人看到这个数字转头就走。 但分开来看: 1. AI与云端客户营收年增49% 2. 光通讯业务单季成长20% 3. 营业利益率冲上6.2%,年增200个基点 4. 自由现金流单季6.29亿欧元 5. EPS大超分析师预期31% 6. 净现金储备近40亿欧元 7. 已启动股票回购 更关键的是,管理层把光通讯与网络互联业务全年指引从10-12%直接上修到18-20%。大型设备商几乎从不这么做——除非手头的订单已经多到藏不住。10亿欧元实质采购订单,带明确交付日期,不是框架协议。客户之所以愿意压上日期,说明数据中心土建已完成,服务器准备进场,就等Nokia的设备到货。 三、为什么是Nokia,不是别人 重点一:与英伟达深度绑定 Nokia与英伟达达成AI-RAN战略合作,把GPU算力直接整合进无线电网络。年底还有双方合作的光电共封(LPO)现场试验数据即将公布。 黄仁勋说Agentic AI带来1000%的算力需求暴增。这1000%的算力要运转,需要1000%更宽的传输通道。Nokia在造这个通道,英伟达需要这个通道。 两家公司的利益高度一致。 重点二:Infinera并购协同效应超预期 高利率环境下,Nokia凭借近40亿欧元净现金逆势完成对Infinera的收购,并购带来的毛利率提升速度远超华尔街预期。这笔并购很完美,营收规模越大,利润爆发力越强。 重点三:主动放弃低毛利,聚焦Webscale巨头 Nokia正在主动削减消费者光纤等低毛利业务(固网业务Q1下滑13%),把所有产能死死锁定在谷歌、亚马逊这类超大型云端数据中心客户。 表面营收看起来疲软,实际是在牺牲数量,保住利润率。这种"价值重于数量"的策略,在产业周期里往往是股价主升段的前兆。 订单出货比持续大于1,接单速度快过交货速度,积压需求将在未来几季持续转化为营收。 四、市场有多大 云端巨头2026年资本支出超过7250亿美元,整个潜在市场年复合成长率从16%跳升至27%。目前AI驱动的网络流量只占整体的20%。随着Agentic AI和Physical AI的普及,机器对机器的数据传输将呈指数级增长——现有网络根本撑不住。Nokia不需要抢市场,只需要站在这条必经之路上收过路费。 五、风险在哪 供应链瓶颈: 光通讯产品交期被拉长至12-18个月,上游数字信号处理器(DSP)大缺货,营收认列速度被掐住。订单很多,但转化成钱需要时间。 无定价权: Nokia的增长靠的是出货量,不是涨价。光通讯产品长期价格向下,利润扩张依赖规模经济,这是苦活不是躺赢。 新交换器业务存在转换空窗期: Q1拿到的设计导入(Design Wins)不会立即贡献营收,需要等Q2-Q3的订单转化。 2027年新架构才放量: 下一代光电共封架构能降低客户总置成本70%,但量产要等2027年下半年,别把2027年的故事算进2026年的EPS。 六、会不会重现1999-2000年的parabolic move行情? 1999年Nokia是全球最大手机厂,市值一度超过2000亿美元,两年内股价涨了超过10倍。那次是5G前身的2G/3G爆发周期。 这次不同,也更扎实。那次靠的是终端设备消费,周期性极强。这次靠的是基础设施刚性需求,数据中心建好就要配套设备,不存在等等看再说。 抛物线行情需要三个条件: 1. 需求端爆发: 7250亿资本支出,明年资本开支持续增加,AI流量暴增 2. 供给端瓶颈: 交期12-18个月,产能跑不赢订单 3. 市场认知滞后: 大部分人还把Nokia当5G周期股在看 认知差就是超额收益的来源。当市场还在争论Nokia是不是无聊的电信设备商,机构资金已经在悄悄重新定价。 七、三个必须持续跟踪的数据 1. Q2开始看设计导入转化率: Q1拿到的客户认证,有没有在Q2变成真实采购单,这决定下半年营收基础 2. 光通讯交期有没有开始收缩: 从18个月降到12个月是一个信号,意味着上游供应链开始松动,营收加速的拐点就在附近 3. 年底LPO试验数据: 与英伟达合作的光电共封现场测试,一旦数据亮眼,Nokia的估值逻辑将从"电信设备商"切换到"AI基础设施核心供应商",PE重估空间巨大 八、总结 这不一定会是1999年的抛物线,但认知差带来的重估行情,逻辑上已经非常清晰。等年底英伟达LPO试验数据出来,才是真正的验证时刻。 #NOK# #Nokia# #NVDA# #AIInfrastructure# #OpticalNetworking# #Datacenter# #AI超级周期# #光通信#
顯示更多
0
42
213
43
轉發到社區
所有人都在买GPU和存储。没有人告诉你光模块公司的总市值比美光还低 我想从一个反常识的问题开始:GPU是AI的大脑,存储是AI的记忆。那光是什么?光是AI的神经系统。但神经系统从来不是最先被注意到的。存储已经涨了10倍,GPU更不用说。光的时代,刚刚开始。 1. 先说一个结构性的错误定价 在Nvidia的NVL72机架里,光模块的采购金额占到整个机架的20%。2026年全球AI光收发器市场规模预计从2025年的$165亿增长到$260亿,同比增速超过57%——这是半导体赛道里增速最快的子领域之一。 但所有光模块公司的总市值,比美光一家还低。这个错误会被纠正。问题只是什么时候。 2. 光和存储不一样的地方 存储的接力是季度级别的事件——供需拐点,财报超预期,市场重新定价,SNDK从$200涨到$900,这个过程很快。光的接力是年级别的结构性变迁,因为光的技术路线本身正在发生一次范式转移: 第一阶段(现在):可插拔光模块 800G → 1.6T → 3.2T 线性增长,随数据中心扩张 第二阶段(2026下半年):近封装光学NPO 光模块移向芯片旁边 需求非线性跳升 第三阶段(2027-2028):共封装光学CPO 光引擎直接封装进芯片 这是终局,也是最大的价值重构 Meta在OFC 2026分享了大量数据,证明CPO比可插拔光收发器更可靠,成本更低,功耗更少。Nvidia在GTC展示了CPO将在2027/28年用于Scale-Up互连。5年内所有AI数据中心互连都将是光。 这不是预测,是物理定律。铜在高速率下信号损耗太大,功耗太高,距离太短。光没有这些问题。 3. 光在吃铜,不只是光吃光 生成式AI集群需要比传统云服务多10到100倍的光纤,正在把现有铜互连逼到物理极限。 这是大多数人没想到的逻辑——光的增长不只来自数据中心规模的扩大,还来自光替代铜的渗透率提升。每一代迭代,光吃掉更多铜的市场。这是双重驱动,不是单一驱动。 4. 产业链七个卡位,从上游到下游 现在我来把整条产业链拆清楚。 七个公司,覆盖从最上游的衬底到最下游的网络设备。 🔬 最上游:硅光衬底 $SOI 做的是硅光PIC的衬底材料——整个产业链最上游的原材料。没有SOI的衬底,硅光芯片就没有基础。护城河极高,几乎没有竞争对手能短期内介入。和TSEM形成上下游绑定:SOI提供衬底,TSEM代工成芯片。 🏭 代工层:硅光晶圆厂 $TSEM(Tower Semiconductor)硅光版本的台积电。 今天刚刚发生的重大事件: TSEM宣布签署$13亿的2027年硅光合同,收到$2.9亿产能预付款,2028年还有更大合同在谈判中。计划资本支出$9.2亿专门用于硅光扩产,Q2营收指引$4.55亿同比增22%。 TSEM最聪明的地方在于:它不赌哪条技术路线赢。 可插拔、NPO、CPO,三条路线都用TSEM代工。就算市场对技术路线判断错了,TSEM依然受益。这是光通讯产业链里确定性最高的picks-and-shovels。 💡 激光器层:光的心脏 光模块的核心是激光器。没有激光器,光模块什么都不是。 激光器分两条技术路线: 磷化铟(InP)路线——$LITE(Lumentum) LITE是目前唯一能量产200G每lane EML激光器的供应商,是1.6T收发器的关键零件。Nvidia预先锁定了LITE的EML产能,推迟交货期超过2027年。 Nvidia向LITE投资$20亿,用于加速AI基础设施光学技术。LITE CEO称2026年是激光器芯片销售的"突破年",刚收到历史上最大的CPO超高功率激光器采购承诺。 LITE的护城河是时间积累的——InP激光器的制造需要极其精密的工艺,20年积累的经验是任何竞争对手短期无法复制的。而且LITE不只押注现在:EML是可插拔时代的命门,ELS外置激光器是CPO时代的命门,OCS光路交换机是未来AI集群的光学路由器。 三个产品线覆盖了光通讯从现在到2030年的完整需求。 硅光(SiPho)激光器路线——$SIVE(Sivers Semiconductors) Sivers专注于CPO系统的高性能InP激光阵列,Jabil合作是第一个商业验证信号,证明技术正在从研究走向真实超大规模部署。 SIVE不是要打败LITE,而是作为CPO时代激光器供应链里的补充供应商——当LITE和COHR产能不足时,SIVE是下一个选项。整个CPO产业的激光器供应严重短缺,补充供应商的价值会被重新定价。 🔭 光学系统层:从组件到整合 $COHR(Coherent Corp) COHR最新Q3财报:营收$18.1亿同比增21%,数据中心和通信板块$14亿,同比增40%。Nvidia同样投资$20亿入股COHR。COHR是整个光通讯赛道里垂直整合程度最高的公司。从InP晶圆到激光器到光模块到系统,全部自己做。COHR正在扩大6英寸InP晶圆产能,这是推动毛利率持续提升的核心驱动力——规模越大,每片晶圆的成本越低,利润越高。 LITE和COHR的关系是竞争者也是互补者: LITE:激光器专家,EML垄断,聚焦 COHR:光学系统整合商,体量更大,更全面 🏗️ 物理基础设施层:光纤和连接 $GLW(Corning) Corning是光通讯产业链里最让人意外的标的——一家成立于1851年的玻璃公司,正在成为AI基础设施的核心受益者。 Q1 2026光学通信业务增长36%,分部净利润增长93%。2028年营收目标$300亿,2030年$400亿,内含年化增速19%。两个额外的超大规模云厂商签署了长期协议。 Nvidia命名Corning为下一代AI基础设施光连接合作伙伴,投资$5亿+最高$32亿股权,在美国建三座专属光学工厂。 Corning做的是光纤、线缆和连接器——不是最性感的产品,但是不可或缺的基础设施。 城市要运转,不只需要主干道,还需要所有的小路、接头、路牌。 Corning做的就是光通讯世界里的所有"小路和接头"。 而且这些"小路和接头"是消耗品——每建一个数据中心都需要,每升级一个机架都需要。 📡 网络层:AI时代的网络基础设施 $NOK(Nokia) Nokia是这七个标的里最被市场误解的。大多数人还在用"翻盖手机公司"的眼光看Nokia。 Nokia 2026营收预期同比增长7.5%,EPS增长21.2%,光网络业务增速20%,AI和云业务增速49%,单季度新增€10亿AI和云订单。 Nokia做的是什么? 光传输网络(OTN)——把数据中心之间用光连接起来的骨干网络。这是Scale-Across的核心基础设施。 Nokia的第六代超相干光学技术PSE-6s,是目前全球少数能实现800G甚至1.2T长距离光传输的技术之一。 Nokia收购Infinera之后,从"转卖别人芯片的公司"升级为"拥有自己光芯片工厂的公司"——同样的技术路线,市场给LITE估值66.5倍,给COHR估值35倍,Nokia只有30.8倍Forward PE。 这个估值差距是最大的错误定价之一。 七个标的的完整产业链图 最上游 SOI(硅光衬底) ↓ TSEM(硅光代工) ↓ 激光器层 LITE(InP EML,可插拔+CPO) COHR(垂直整合,光学系统) SIVE(CPO激光阵列,高赔率) ↓ 物理基础设施 GLW(光纤、线缆、连接器) ↓ 网络层 NOK(光传输网络,骨干连接) 每一层都有自己不可替代的护城河。 每一层都在受益于同一个趋势。 6. 为什么是现在? 2026到2027年是在1.6T供应链建立立足点的关键时期,在一线客户的设计导入将决定长期赢家。现在是design-in阶段——产品正在被超大规模客户选中和锁定。等量产阶段到来,市场才会充分定价这些公司的价值。 在design-in阶段买入,等量产阶段收获——这是光通讯投资最好的时机。 7. 仓位逻辑 高确定性(重仓): TSEM → 今天$13亿合同,产业链里最硬的催化剂 LITE → EML垄断+Nvidia锁定,现在到2028年都受益 COHR → 垂直整合,体量最大,Nvidia $20亿入股 中等确定性(配置): GLW → Nvidia直接合作,物理基建不可或缺 NOK → 最被低估的估值,但故事兑现需要更多时间 高赔率(小仓位): SOI → 和TSEM绑定,护城河高但流动性低 SIVE → CPO时代的纯粹赌注 8. 光会接力存储吗? 会。但不一样的方式。存储的接力是一次性的价格重估——供需拐点到来,几个季度内完成定价。 光的接力是分阶段的持续重估—— 2026年:可插拔1.6T带来第一波 2027年:CPO开始量产带来第二波 2028年:Scale-Up全面光化带来第三波 三波叠加,才是光通讯超级周期的全貌。存储让你在一年内赚了10倍。光可能让你在三年内赚同样多,但过程更平稳,确定性更高。 最后一句话 光通讯不是一个新故事,是一个被重新发现的旧故事。 光纤已经存在几十年了,但AI让这个故事的量级发生了质变。每当数据中心需要更高密度、更低功耗、更远距离的连接时,答案永远是光。 #光通讯# #TSEM# #LITE# #COHR# #GLW# #NOK# #SOI# #SIVE# #CPO# #硅光# #光模块# #AI基建# #数据中心# #存储接力# #Nvidia# #美股# #USStocks# #SiliconPhotonics# #CoPackagedOptics# #EML# #光互连# #AIInfrastructure# #光纤# #Nokia# #Corning# #Coherent# #Lumentum#
顯示更多
0
92
2.1K
620
轉發到社區
AI应用侧的资本土壤可能真的开始松动了。一些有点意思、概念够新的垂类产品陆续被VC光临。 VC的attention永远是在轮动的。模型投的差不多了、具身过沸了、消费硬件的品类也看不到更新的了,不得不再回头思考一下应用这个“非共识”了。 “应用”这个词在过去是背了锅。 那些通用agent、AI infra不能代表模型之外的所有应用。它们只是AI发展的第一波产物,干的是在帮模型打补丁的活。从发展规律来看,这是必然且阶段性的。 更多内容请看:
顯示更多
今天 AI Infra 股票继续大跌,存储和光全部都是。这段时间是很难熬,分散主题、分散投资,熬到月底财报季,也只能这样了。 CPI & PPI 都低于预期,本来是很乐观的因素。但是 Warsh 在国会有一番鹰派发言,美国第五天空袭伊朗,报道称川普也准备加大战争幅度,对冲了数据的利好。 真的有去年 10 月、11 月的意味了。 - $AAOI 跌的最惨,-13%,离高点已经腰斩有余。回答有朋友问我的问题:我的正股和 call 都还在,一点没卖 - 存储今天大跌, $MU $SNDK 都跌了 8% 以上,势必影响韩股海力士。7709 终于要到 40 ? - 苹果 $AAPL 这段时间一直上涨。9 月新机发布前,在我可以推荐的一个“分散投资”的标的。软件股我推荐 $PLTR PLTR 的文章: - 值得关注的是,SpaceX $SPCX 短暂破发,跌到 IPO 价格 135 以下了。 在我看来,SPCX 破发后,则是可以开始慢慢建仓了。但有兴趣的朋友也不要指望快速反弹,这是一个需要 2 年、3 年来兑现业绩的公司。 我的 SpaceX 深度文章: 祝大家 stay safe ~
顯示更多
0
31
28
0
轉發到社區
Bitdeer:AI 数据中心转型和重估值之路 Bitdeer(BTDR)这家比特币矿企,正在努力的让市场尽快开始把它的一部分资产按 AI 数据中心重新定价。 截至 2026 年 5 月,Bitdeer 披露全球电力容量约 3.0GW,其中 1.74GW 已上线,1.26GW 在 pipeline。这个数量并不小。但问题是,这些电力里,真正已经被验证为 AI-ready 的比例还不高。市场不给它 CoreWeave、Nebius 或 IREN 那样的估值,并不完全是错杀。 Bitdeer 当前的估值更像“矿企 + AIDC 期权”。它的 EV/Sales 明显低于 CoreWeave、IREN、Applied Digital、Nebius 等 AI 基础设施标的。但折价的原因也合理:AI Cloud 收入还小,大客户合同还没落地,融资路径也还没完全清晰。 公司 4 月披露 AI Cloud ARR 约 6900 万美元,GPU 部署 4184 张,利用率 92%;但 Q1 AI Cloud 收入只有 370 万美元。 主要原因是Q1 收入是季度累计,而 ARR 是期末点位,业务主要在 3 月后才开始明显爬坡。 真正的问题是gpu租用价格。按 6900 万美元 ARR 和 GPU 数量测算,隐含单价大约在 2 美元/GPU-hour 左右,明显低于成熟高端 GPU 云的 on-demand 价格。 这说明 Bitdeer 可能仍在用较低价格换利用率和客户验证。因此,后续要看的不是单纯 ARR 增长,而是 Q2、Q3 的收入兑现和毛利率。 Bitdeer 最重要的触发器是挪威 Tydal 225MW 项目。如果它签下高信用租户,并披露租期、容量、租金或 ARR,这会显著改变市场对公司电力资产质量的判断。没有租约,3GW 只是潜在资源;有租约,它才变成可融资、可估值的 AI 数据中心资产。 第二个触发器是 AI Cloud ARR 能否突破 1 亿美元。4 月已经到 6900 万美元,短期继续上行的概率不低。但如果增长主要靠低价填满 GPU,估值倍数会被压制。 第三个触发器是融资。Bitdeer Q1 末借款约 19 亿美元,现金约 3 亿美元。AIDC 转型需要大量资本。若公司能依靠项目债、客户预付款或低稀释融资推进,股东能保留更多重估收益;若靠高成本债或持续发股,弹性会被稀释。 第四个触发器是交付。Tydal、Wenatchee、Knoxville 等项目的转换窗口集中在 2026 年 Q4 到 2027 年 Q1。短线看合同,中线看融资,最终还是要看项目能否投运并进入财报。 整体看,Bitdeer 出现第一阶段重估的概率偏大。它有电力、有转型路径,也有接近落地的事件催化。但它还不是成熟 neocloud,而是处在“矿企估值向 AI infra 估值切换”的前夜。 总的来说Bitdeer 的便宜是真实的,折价也是真实的;真正的机会在于,市场是否会因为 Tydal 签约、AI ARR 增长和融资清晰,把它从矿企重新定价为 AI 数据中心平台。 免责声明:本人持有文章中提及资产,观点充满偏见,非投资建议,dyor
顯示更多
今天的 AI Infra Trade 已经冰冷到了绝对零度 离月底大科技财报还有一周的工作日了 控制仓位、减少杠杆、保留子弹 大家加油,stay alive 最新的鬼故事,是廉价模型、中国的开源模型会逐渐取代美国的 OpenAI、Anthropic 的市场份额,从而让硬件投资失去回报。 CAPEX 反而成了市场质疑的原因,业绩不论好坏都: - CAPEX 多 = 过度投资,泡沫顶端,卖 - CAPEX 少 = 嘿看我说对了吧,卖 因此现在最好的做法就是等情绪好转,在此之前做的越多错的越多。 HIGH BETA 会一起被拖累,太空股大部分已经跌到底部支撑,超卖严重。 SpaceX $SPCX 推迟星舰的实验,也是负面因素之一。现在已经破发。 对 SPCX 感兴趣的朋友,现在可以开始建观察仓(NFA)
顯示更多
0
17
20
0
轉發到社區
分享一份最近收集的 AI Infra 入门阅读清单,建议收藏,慢慢看 AI 已经可以生成很多很好的内容,解释概念、翻译论文、整理资料,都越来越方便。但在这个时代,能静下心来,把一篇好文章认真读完,把没懂的地方再琢磨一遍,我觉得更加难能可贵 这次整理的材料,主要集中在大模型推理这一块。从 KV Cache、显存管理,到请求调度、推理加速,再到怎么判断性能有没有真正变好 做工程的朋友,可以顺着往源码和实验里走。平时看 AI 产业、算力和存储的朋友,也可以先把原理读明白 读文章,挑值得反复读的。 1. 如果只选一篇,我会选 Inside vLLM。 Inside vLLM: Anatomy of a High-Throughput LLM Inference System,作者 Aleksa Gordić 把很多零散的概念串进了一个真实系统:一个请求进来,怎么排队,怎么分配 KV Cache,怎么执行,最后又怎么把结果送回来 PagedAttention、continuous batching、chunked prefill、prefix caching、投机解码、P/D 分离、多卡和性能测试,都能在这条线上找到位置。 这篇适合当主线,后面的材料用来补不懂的地方 2. 想弄懂 continuous batching,先看 Anyscale 这篇。 Continuous Batching 博客 llm用户的回答有长有短,有的已经生成完了,有的还在继续。已经空出来的位置,能不能马上接下一个请求? 这篇用静态批处理和连续批处理的对比图,把这个问题讲得很直观。看完你会理解,GPU 的效率,也取决于请求怎么安排 建议重点看图和机制 3. NVIDIA 的两篇,一篇帮你建立全貌,一篇教你怎么看性能。 Mastering LLM Techniques: Inference Optimization 适合先建立基本认识:处理输入的 prefill 和逐步生成输出的 decode 有什么区别,模型权重和 KV Cache 分别占什么空间,量化、批处理、多卡并行又各自解决什么问题 LLM Inference Benchmarking: Fundamental Concepts 这一篇我也很推荐。用户等多久才看到第一个 token,后面生成得快不快,整个系统一秒能服务多少请求,是不同的问题。TTFT、ITL、TPOT 这些指标,要连着测试口径一起看 4. 想再往下算一层,读 kipply 的 Transformer Inference Arithmetic Transformer Inference Arithmetic 这是一篇 2022 年的文章。它带你从计算量、内存容量、带宽和通信开销出发,估算推理为什么快、为什么慢,以及 batch size 改变后会发生什么 硬件和模型的具体例子有年代了, 作为 optional 选读
顯示更多
0
26
858
227
轉發到社區