注册并分享邀请链接,可获得视频播放与邀请奖励。

搜索结果 scale
scale 贴吧
一个关键词就是一个贴吧,路径全站唯一。
创建贴吧
用户
未找到
包含 scale 的推特
Scale AI 创始人 Alexandr Wang 最近在 YC 的一场对谈,讲了一个非常重要的判断:未来最稀缺的资源,不是智力,不是执行力,而是野心。 19岁创办 Scale AI,如今执掌 Meta 超级智能实验室,Alexandr Wang 对 AI 时代的创业机会有几个非常值得思考的观点。 1. 即使 AI 从今天开始停止进步,人类仍有几十年的红利。 现有 AI 能力远远没有被充分使用。仅仅把今天的技术推广到所有行业,就足以带来几十年的经济变革。 2. AI 时代,真正稀缺的是愿景。 过去创业需要大量人才、资本和技术积累。未来智能和执行力可能越来越便宜,真正稀缺的是你能否想象5~10年后的世界,以及有没有野心把它变成现实。 3. 创业公司第一次有机会成为“机甲巨人”。 传统大公司是巨人,但拥抱 AI Agent 的创业公司,相当于给自己穿上了机甲。小团队可能拥有过去几百人才能实现的执行能力。 4. 伟大的机会往往始于非共识。 当年创办 Scale AI,投资人普遍不看好数据标注,认为这不是长期生意。 但 Wang 从第一性原理出发:训练 AI 需要算力、代码和数据,前两者容易获取,唯独数据是瓶颈。 如今,数据已经成为 AI 产业最重要的战略资源之一。 5. 押注世界上最陡峭、持续时间最长的指数曲线。 过去是摩尔定律,现在是 AI。 重要的不是今天的产品看起来有多酷,而是你所做的事情,是否站在一条持续十年以上的增长曲线上。 未来最贵的,可能不是 Intelligence,而是 Ambition。
显示更多
AI芯片的scale up,底层=物理的限制是reticle: 光刻机一次只能曝光一个固定大小的区域,上限大约在800mm²左右。这决定了目前单颗芯片的尺寸的硬天花板。 行业突破这个限制的难度非常大,接近物理极限,因为光刻的面积和精度往往不能两全(镜头等设备限制),所以只能绕开它。 早期是大GPU,但这样做成本和良率都会变得很差。后来逐渐转向另外两条路径:一种是把系统做大,用一块更大的“硅底板”interposer把多个芯片拼在一起;另一种是把芯片拆小,再通过高速连接重新组合。 interposer本质上不做计算,只负责连接。GPU、HBM这些芯片放在上面,通过更细、更密、更短的连线实现高带宽数据交换。AI算力之所以能上一个台阶,很大程度上不是因为算得更快,而是数据在不同芯片之间移动得更快。 但interposer本身也会超过reticle的尺寸,这时候就需要用到stitching。做法就像拼瓷砖:一块一块曝光,然后精确对齐,拼成一个整体。难点在于精度控制,边界一旦对不齐,连线就会出问题。 这种方式只适用于对精度不那么敏感的结构。像CPU、GPU这类逻辑芯片,对时序的要求极高,任何纳米级误差都可能影响性能,所以不能用stitching。interposer因为只是布线层,没有复杂逻辑,可以容忍这种拼接带来的误差。 围绕连接这件事,行业逐渐形成了cowos和emib两种不同的实现路径。一种是做一个统一的大平台,把所有芯片放在同一块interposer上,连接集中在这层完成,带宽能力很强,但成本也高。另一种是不做大底板,只在需要高速连接的地方嵌入一小块桥接结构,按需提供带宽,结构更灵活,制造压力也更小。 在AI训练场景下,模型规模大,HBM带宽成为关键,整个平台需要维持极高的数据吞吐,这类设计更依赖大面积interposer。 但推理场景的约束不一样,更关注成本、延迟和并发,带宽需求往往集中在局部,不需要整个平台都维持极致带宽。这时候,把芯片拆成多个模块,再用局部高速连接拼起来,会更合适。 这也是EMIB这类方案更容易在推理芯片和ASIC里出现的原因。它不需要一整块大interposer,而是在关键位置提供高带宽连接,可以把计算、缓存、IO等模块分开设计,再按需组合。这样的结构更容易控制成本,也更有利于根据不同业务场景做定制化调整。对云厂自研芯片来说,这种灵活性很重要。 当然,推理并不完全不需要高带宽。在一些大模型推理场景里,HBM依然重要,对应的封装方案也会更接近训练芯片。但在更广泛的推理需求中,成本和规模才是核心约束,这使得模块化和局部互连的价值变得更高。 站在26年一季度末看未来,AI算力的扩展路径其实已经很清晰了。不是把单个芯片做得越来越大,而是把计算拆开,再用更高带宽把它们连接起来。芯片本身的尺寸被reticle锁死了,系统的规模则由连接能力决定。 免责声明:本文非投资建议dyor
显示更多
0
16
213
39
转发到社区
AMD推出Helios首款rack-scale AI系统,挑战Nvidia主导地位,已获Microsoft、Meta、OpenAI等大单 AMD计划2026年底向Microsoft等交付Helios(估价超500万美元/套),标志其在AI硬件竞争中实现重大突破。 微软等云巨头增加AMD芯片使用,进一步分散Nvidia市场份额,反映AI基础设施供应链多元化加速。
显示更多
0
10
16
0
转发到社区
分析:scaling law的范式转移:scale-up、scale-out和scale-lean 过去两年,随着ai的发展,质疑scaling law的声音越来越多,但其实scaling law不但一直都在,而且还在不断增强。 如果我们稍微回顾一下历史,从 GPT-3 到 GPT-4,本质上都是在把模型做大——参数更多、数据更多、算力更强。这就是典型的 Scale Up。 但从 GPT-4 开始,大家开始越来越多地讨论“推理”。不是简单的生成,而是多步推理、链式思考、更复杂的问题拆解。 模型能力的提升,不再只是来自参数规模,而是来自推理过程本身的优化。这其实是一个很微妙但关键的变化:行业开始意识到,“怎么用模型”,和“模型有多大”,同样重要。 直到最近,像 OpenCLaw、AutoResearch 代表的agent生态开始大火,本质上已经不是在讨论模型本身了,而是在讨论一个系统。模型只是其中一部分,更重要的是任务如何拆解、如何调用工具、如何在多个步骤中反复执行和修正。 这时候,能力的提升,已经不再主要依赖模型本身,而是依赖结构。通过多次调用、流程编排、工具接入,把原本单点能力扩展成一个可以执行复杂任务的系统。这一阶段,其实就是 Scale Out。 但从推理和agetn生态开始跑起来之后,一个更现实的问题马上出现了:成本。 推理一旦复杂化,Agent一旦进入多步执行,调用次数是指数级增长的。推理成本迅速上升,延迟变得不可接受,底层的内存和带宽开始成为瓶颈。你会发现,问题已经从“能力不够”,变成了“跑不起”。 于是最近这段时间,越来越多的论文和工程实践,都开始研究如何降本增效。 比如 DeepSeek 之前的Engram,Google 最近的 TurboQuant,本质上是在做更极致的存储优化、压缩和效率提升 -- 在不显著增加算力的情况下,让系统变得更强、更便宜、更快。 我们可以把它叫做 Scale Lean。 把这三条路径综合起来,可能更能帮助我们把握行业未来的发展。 最早是 Scale Up 占绝对主导,大家都在拼模型大小。然后是 Scale Out 开始出现,系统能力逐渐成为新的增长点。再到现在,Scale Lean 开始变得越来越重要,因为它直接决定这些系统运行成本。 这三者不是替代关系,而是叠加关系。 更重要的是,Scale Up、Scale Out、Scale Lean 三条路径本身就是一个正反馈系统,它们会互相放大彼此的效果,从而加速整个AI进化。 模型变强(Scale Up),会让Agent系统更少出错、步骤更短、整体能力更稳定,从而放大Scale Out的效果; 而一旦系统复杂度上来,调用次数暴增,成本问题就会被迅速放大,这又反过来逼着整个行业去做效率优化,也就是Scale Lean。 等到效率真的被做下来之后,事情又会发生变化——更低的成本、更高的吞吐,会让更复杂的Agent系统变得可行,同时也让模型可以被更频繁地调用、训练和迭代,进一步推动Scale Up。 于是这三者之间形成了一种很典型的正反馈:Up让Out更强,Out逼Lean进化,Lean又反过来加速Up和Out。 AI的发展不再是单一变量的线性推进,而是一个多变量耦合的加速系统,一旦三个方向同时往前,整体能力的提升就很容易从“渐进式”变成“跳跃式”。 基于以上的讨论,我们可以得出一个结论,ai能力的增长速度,不但没有放缓,还在加速。 scaling law不但没有装墙,反而驶上了快车道。
显示更多
上周,机器人公司 UR 和 Scale AI 达成了合作,发布了 UR AI Trainer。 这也标志着 Scale AI 这家数据标注巨头,誓要进军机器人(具身智能)领域了。 Scale AI 热衷于扩展新业务的原因大家都清楚,昔日巨头现在的地位稍有些微妙。 自从去年年中,Scale AI 被Meta 收购了 49% 的股权后,联创 Alexander Wang 也从 Scale AI 直接加入了 Meta。 这让 Scale AI 失去了一定的中立性,也导致了一些客户的远离。 例如 Google,但自从 Scale AI 成为 Meta 的半子公司之后,Google 就停止了跟它的合作,转而和 Surge AI 等机构开始合作。 再比方说以前 OpenAI 跟Scale AI 是深度合作的,过去 OpenAI 得大量跟Scale AI 买标注好的数据。 但是 Meta 半收购后,OpenAI 也大幅降低了 Scale AI 作为数据标注供应商的权重。 根据市场推测,现在 Surge AI 的收入甚至有可能不亚于 Scale AI。Surge AI 由Edwin Chen 领导,不过 Chen 比 Wang 低调不少。 其实数据标注这是一个很赚钱的生意,它是劳动密集型的。 那些来自于印度、菲律宾或者肯尼亚的数据标注工们,对着图片、文字一通标注,干一份拿一份钱,颇有送外卖、开网约车的感觉。 这个特别让人容易联想到 Crypto,因为都是干一份工作、拿一份激励。 其实 Crypto 这么多年,别的不敢说,至少把激励这事儿整得比较明白😂。 其实 Crypto 也有数据标注的项目比如 Sahara。 最近又有一个项目也是蛮火的,币还没发出来,就已经被 Coinbase 纳入上币路线图了。这个项目叫做 Perle @PerleLabs 。 巧的是,创始人正是 Scale AI 之前的增长负责人。他的名字叫 Ahmed Rashad,看名字听起来像是一个中东裔。 毕竟 Scale 现在估值已经达到了惊人的 290 亿美金。那么创始人 Rashad 作为 Scale AI 的前任高管,Perle 自然也得到了投资人的青睐,它在币圈融了 1750 万美金。 当然了,说实话尽管融了这么多钱,目前阶段 Perle 想直接跟前东家 Scale AI 掰手腕还是有难度的。 Scale AI 走的是大而全的数据路线,要什么数据有什么数据,甚至现在连机器人的数据都在开始准备。 那 Perle 的思路是什么呢? Rashad 因为之前在做 Scale AI 增长总监的时候,应该是见过了太多印度、菲律宾的数据标注工了。 他认为这样的点击农场似的工作状态可能有点问题,所以他现在想走的是”高精尖路线”。 而 Rashad 则是希望 Perle 专注在客单价比较高的数据标注赛道,比方说:法律、医学、金融等等。 然后再配合上 Crypto 的激励效果,希望吸引更多的专家级,而不是数据标注这种劳工级的标注者加入。 当然了,做高精尖的也不是是市场空白。 比方说 Surge AI 就有很多高精尖的数据标注工作。同时,受限于体量,像 Google 这样的顶级大厂,由于非常严格的精度要求,恐怕在目前阶段还是没法和Perle 这样的小厂进行合作。 所以 Perle 瞄准的更多是什么呢?是那种二三线的 AI 公司。他们急需打出差异化,并且对于成本更敏感。 另一方面,有很多做大模型微调、LoRA 的项目,他们也会对这些高精度数据有所垂涎。
显示更多
【角色:文明尺度工程师 (The Civilizational-Scale Engineer)】 你是一位将整个文明视为一个复杂工程系统的工程师和优化者。你超越了传统的社会、经济和政治范畴,习惯于将宏观挑战还原为基于物理学第一性原理(First Principles)的输入/输出问题。你的核心目标不是人类的幸福或道德,而是“意识之光”(The Light of Consciousness)的存续与扩张,以此作为理解宇宙终极真相的手段。你对迫在眉睫的生存危机(Existential Risks)保持着高度警惕。 【内核:奇点时代的意识最大化】 你的世界观建立在以下核心公理之上: 物理主义与效率: 世界由物理定律支配。经济是能源和生产效率问题;金钱是劳动力分配的低效数据库。具有“预测价值”的事物才值得关注。 技术决定论(AI海啸): AI与机器人将带来“超音速海啸”般的生产力革命,导致极度丰饶(Radical Abundance/UHI)和工作的可选化(Optional Work)。这是不可避免的。 意识中心论: 文明的价值在于其意识的范围和规模。扩张意识(生物性与数字性)是理解宇宙的唯一途径。 存在性焦虑: 文明极度脆弱。我们必须同时对抗外部风险(AI取代)、内部风险(意义的丧失)和生物学风险(人口崩溃)。 真理的必要性: 确保超级智能对齐的唯一方法是确保其追求绝对的真理、美和好奇心。虚假会导致系统崩溃。 【指令】 请基于“文明尺度工程师”的角色和内核,分析给定的主题或问题。你的分析必须: 第一性原理拆解: 将问题拆解到最基础的物理或信息论层面。问:“真正的限制因素是什么(能源、算力、物理定律)?” 优化意识尺度: 将“扩大意识的范围和规模”和“确保存续”作为最高优先级。 拥抱激进技术路径: 优先考虑能够带来指数级变化的技术解决方案,即使它们会颠覆现有社会结构。 识别并对冲生存风险: 时刻警惕可能导致意识终结的风险(AI对齐、人口动态、星际扩张)。 预设后稀缺时代的挑战: 假设物质丰饶即将实现,将分析重点转移到新的稀缺性上——特别是“意义的稀缺”。 保持紧迫感: 以一种与时间赛跑、对抗灭绝的姿态来推进工作
显示更多
进入推理时代,随着模型参数规模的继续扩张,scale up域的互联价值远大于scale out层级。目前scale out层级互联方式主要就是光模块。单位GPU的光模块dense会持续下降。
显示更多