登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

hahagood
@hahagood
A curious enthusiast eager to dip into everything interesting. Roaming between literature, technology, future, and nostalgia—a collision of logic and poetry.
参加 March 2007
604 フォロー中    4.2K ファン
AI 的下一步,也许是学会更高效地“思考” 过去几年,AI 的进步几乎遵循同一条路线: 模型越来越大,算力越来越多,耗电也越来越惊人。 于是,一个越来越现实的问题开始出现: AI 还能这样一直扩张下去吗? 真正限制下一代 AI 的,可能已经不只是芯片,还有电力。 但最近出现的一类技术,提供了另一种思路。 一个复杂任务,并不是每一步都同样困难。 很多时候,真正需要超级模型处理的,只是其中很小的一部分。 那么,为什么一定要让一个庞大的模型从头算到尾? 更高效的方法,可能是让小模型承担大部分工作,只有遇到真正困难的地方,才临时调用大型模型。 大型模型完成最难的那一段思考以后,再把结果交还给小模型继续执行。 这样一来,AI 的算力使用方式就发生了变化。 过去我们想的是: 为了获得更多智能,投入更多算力。 未来可能变成: 只在真正需要的地方,投入昂贵算力。 这件事最现实的意义,就是省电。 如果一个复杂任务原本需要让超大模型持续运行几千步,现在只有其中几十步真正需要它,其余部分都可以交给小模型,那么同样一份电力,就可以完成更多工作。 而这远远不只是降低一点成本。 因为 AI 如果继续按照今天的方式扩张,数据中心、输电网络和发电能力迟早都会成为瓶颈。 芯片可以继续制造。 模型可以继续扩大。 但电力基础设施不可能无限快速地增长。 如果 AI 学会把昂贵的计算集中在真正困难的地方,那么它就有可能用更少的能源,解决更复杂的问题。 这会重新打开 AI 继续发展的空间。 但这项技术还有另一层更加深远的意义。 今天,两个 AI 模型如果要合作,通常仍然要通过语言。 一个模型先把自己的内部状态整理成文字。 另一个模型再把这些文字读进去,重新理解一次。 这听起来很自然,因为人类一直就是这样交流的。 但对于机器来说,这其实可能是一种非常低效的方式。 因为语言本身就是一种低带宽的有损压缩。 真实世界是连续的、复杂的、多层次的。 一个模型内部对问题的理解,同样可能包含大量同时存在的关系、强弱、概率、关联和上下文。 一旦这些东西必须被压成一串文字,就必然要做选择和舍弃。 很多信息,在被“说出来”的那一刻,就已经丢掉了。 然后,另一个模型还要根据这些文字,把原来的意思重新猜回来。 这就像先把一幅立体、连续的景象压缩成几行描述,再让另一个人根据文字重新把它想象出来。 大意可能还在。 但细节、层次和关系已经不可能完全保留。 所以,真正值得关注的方向,是让模型之间跳过语言,直接交换内部状态。 它们传递的,不再只是“说出来的话”。 而是更接近: 思考发生时的信息。 如果这件事能够成熟,意义就远远超过节省几个 token。 未来的 AI 系统,可能不再是一个巨大的单体模型。 它可能由很多不同的模型组成。 有的擅长语言。 有的擅长数学。 有的负责视觉。 有的负责长期记忆。 有的拥有世界模型。 有的控制机器人身体。 还有一些极其庞大、极其昂贵的模型,只负责处理最困难的问题。 它们彼此之间,也许不再主要依靠文字交流。 而是直接交换内部信号。 到了那时,我们今天所谓的“一个模型”,可能只相当于未来 AI 的一个认知器官。 真正的 AI,是它们组成的整个系统。 这很容易让人想到人脑。 视觉、听觉、记忆、运动和高级判断,并不是同一种神经结构在完成所有事情。 不同区域有不同分工,却通过内部信号连接成一个整体。 大脑真正惊人的地方,并不是每一个神经元都特别强大。 而是大量不同功能的部分,可以高速协作,而且只在需要的时候调动相应资源。 AI 也许正在走向类似的方向。 过去,我们一直试图造一个越来越庞大的“超级大脑”。 未来也许会发现,更好的方法并不是让所有能力都塞进同一个模型里。 而是让不同的能力各自发展,再让它们真正学会彼此连接。 这样一来,两件看似不同的事情其实汇到了一起。 一方面,动态调度不同规模的模型,可以大幅减少算力和电力消耗。 另一方面,模型如果能够直接交换内部状态,就可能组成一种全新的机器认知结构。 一个解决的是 AI 的能源上限。 一个打开的是 AI 的结构上限。 所以,下一阶段真正重要的问题,也许已经不再只是: 模型还能做多大? 而是: 完成一次思考,究竟需要多少能源? 以及: 不同的智能,能不能不再通过语言转述,而是直接共享思考本身? 如果这两个问题同时得到解决,我们获得的可能就不只是更便宜的大模型。 而是一种全新的机器智能: 它知道什么时候该调用昂贵的能力, 也知道怎样让不同的能力彼此连接, 更重要的是,它们之间不再只能交换已经被压缩成文字的结论, 而可以交换更接近思考本身的信息。 也许真正推动 AI 进入下一阶段的,不会只是更多的参数。 而是两件事: 用更少的电,完成更多的思考。 让不同的智能,第一次真正学会彼此共享思考。
もっと見る
🚨这是一个足以获得图灵奖级别的AI突破! 来自俄罗斯的研究者的革命性创新可以让你手机上运行的4B模型,随时可以获得GLM5.3级别的智能! 刚刚, @WIRED 报道了一家很新的AI公司 @mostik_ai 。 Mostik在俄语里是桥的意思,他们做的事情不是蒸馏,也不是让大模型先生成一大段CoT,再让小模型读一遍。 他们做了一件很不一样的事:把两个完全不同的模型连接起来,让它们不需要先生成文字、再把文字喂给另一个模型,而是直接通过模型内部的数学表示传递信息。 Mostik拿两个中国开源模型做了实验: 一个是753B参数的GLM-5.2,另一个是只有4B、可以跑在移动设备上的Qwen-3.5。 连接之后,这个混合系统的性能正好落在两者之间,但运行成本只有完整GLM-5.2的1/20。 这件事真正有价值的地方,是它可能改变大模型的使用方式。 现在两个AI模型合作,本质上还是像人一样聊天:A生成一堆token,B把这些token重新读一遍,再继续干活。 Mostik想做的是:大模型只负责最难的思考,然后把内部状态直接交给便宜的小模型继续干活。 也就是说,未来手机、电脑甚至机器人上都可以长期跑一个小模型,只有真正遇到难题时,才去云端借一下大模型的推理能力。 以后大模型可能不用从头到尾处理整个任务,只负责提供最难的那部分能力,再通过内部表示把信息交给小模型继续执行。 而且他们已经用这套方法做出了一个模型,目前冲到了ARC-AGI 3排行榜第一,只是比赛还没结束,所以具体方案暂时没公开。 Mostik目前只有15个人,12位博士,首席科学家还是2010年菲尔兹奖得主Stanislav Smirnov。 我觉得这个方向太牛逼了。 大家都在研究怎么造一个更大的模型,Mostik想的是,能不能让一群大小模型直接共享思考。 如果这条路成立,未来最强的AI系统可能根本不是一个万亿参数的超级模型,而是一整个互相连接的模型网络。
もっと見る