注册并分享邀请链接,可获得视频播放与邀请奖励。

搜索结果 小模型大能力
小模型大能力 贴吧
一个关键词就是一个贴吧,路径全站唯一。
创建贴吧
用户
未找到
包含 小模型大能力 的推特
张一鸣在字节seed的全员会上谈到了自己是反对蒸馏的,他认为这虽然能在短期内改善模型表现,但本质上,是在复制别人 已有能力的路径。如果沿着这条路走,最多只能接近,无法实现超越。他更希望seed可以从更底层的维度去构建自己在AGI上的壁垒。 过去的几年里,中国AI因为算力约束,被迫走了这种效率优化路线,而蒸馏正是这种路线的重要组成部分。 其实我倒是觉得,蒸馏从正面的角度来看,是一种工业化技术。 怎么说呢,就大部分人理解蒸馏是这样的,大模型A很强-抄答案-小模型B变强,但真正的蒸馏是大模型产生了在大量高质量行为样本之后,小模型去学习它的推理路径、解决问题的方法、表达方式,包括工具调用方式,从而形成一种新的能力结构。我更倾向于认为,这类似于学生和老师学习,也不是复制老师的大脑,只是学习老师解决问题的方法。 很关键的一点是,蒸馏改变了 AI 竞争的格局。过去一直都是谁的 GPU 多谁赢。如果是这样,差距很快会被不可逆转地拉大,因为谁能保证凭借 GPU 的优势训练出更强的 AI 之后,AI 不会又造出更牛逼的 GPU,形成一种循环垄断呢? 这是本质上有一点类似接近资源能力垄断,但有了蒸馏之后,未来或许是谁更能压缩智能,谁更能占得先机。毕竟大模型在耗费巨资进行训练之后,真正到了推理场景、每天有几亿次调用、真正商业化的时候,成本是极其重要的。蒸馏就是把大模型能力压缩成便宜模型能力,这很有商业价值。 不过赵一鸣有一点说得很对,大模型蒸馏确实不是未来AGI路线,就像我两个月前在 MSX 的一场 Space 里分享的那样,语言模型主要还是学习人类已有的知识。但人类已有的知识并不优质,而且终有用尽的那一天,相比于整个世界的知识确实太少了。 因此,我认为真正的智能需要世界模型,需要物理理解,需要自主学习,蒸馏永远无法创造新的智能。至少我对智能的期待并不是学生模仿老师,而是机器自己观察世界。 我的想法是,模型的能力来自规模,但未来突破还是来自新的训练方法。 只是说,知识蒸馏确实是深度学习不可避免的一环。 这里说个行业小趣事吧,因为我在做GPT代充和中转站的业务,所以了解到大部分“正常用户”几乎都是不会卖OpenRouter的正规正价codex额度的,因为太贵了,那么那么贵的额度是谁在买呢?基本上都是搞蒸馏的。 AI的竞争已经到了第二-第三阶段了。 第一阶段是比谁训练最大模型,当时的赢家当之无愧是OpenAI、Anthropic,也包括谷歌吧。第二阶段是谁能最低成本复制智能,这里 DeepSeek、千问甚至 Meta Llama 都胜出了,因为这比的是开源+蒸馏+低成本部署。第三阶段可能会比谁能创造新的智能,赢家或许会重新回到OpenAI、anthropic和DeepMind(注意不是谷歌)手上。 如果从投资的角度来看,蒸馏会削弱纯模型能力的护城河,但它会增强算力、效率和应用部署的价值。 单纯卖最强模型的企业受到的影响是偏负面的。GPU、HBM 或许仍能受益。像做推理成本优化、开源模型生态、Agent应用和数据闭环的公司价值依旧是提升的。 所以,有些公司我认为是可以闭眼买的。 所以我准备以后写美股文都小赌怡情一下,小开一万U写的公司,但不构成投资建议,只是为写作增添乐趣,我重仓的标的会在私域群发布。 另外打个广告,GPT代充和中转站服务都可以联系我喵!
显示更多
0
74
83
5
转发到社区
原来 Google 不光让你用 Gemini,还直接教你把大模型的能力「蒸馏」成自己的小模型。
Anthropic 这篇官方博客彻底讲清了 Claude Code 的 Model 和 Effort Level 到底怎么选 很多人以为「换模型」和「加 effort」都是能让回答变好,但搞混了要么白花钱要么白等。 1️⃣ 先记住一句话:model 决定多聪明,effort 决定多努力 model 换的是背后那套训练时就冻结的权重,你的 prompt、CLAUDE.md 都改不了它,只能引导不能重新教。 effort 决定的是这次请求它总共愿意干多少活。 2️⃣ effort 不是「思考久一点」,是「多读几个文件、多跑几遍测试」 这是最反直觉的一点。 effort 高,Claude 会自己多读文件、跑测试、复查完再回来找你;effort 低,它宁可停下来问你要 context 也不多花 token 自己琢磨。 官方给的对比是同一个 prompt,高 effort 路径生成约 7 倍的 token 来换更高把握的答案。 3️⃣ 出错第一反应不该是切换模型或 effort,是查 context prompt 是不是太模糊、工具和 skill 有没有配齐——先查这些。 很多时候你以为要加 effort,其实是 context 没给够,加 effort 只是花钱掩盖问题。 4️⃣ 确认 context 没问题后,就问一个问题:它是不够太笨,还是太懒 - context 齐全、明显尽力了、还是错 → 问题太难,它不够懂 → 换更强的模型 - 漏读了文件、没跑测试、重构做一半就撒手 → 它不够努力 → 调高 effort 5️⃣ 大模型给难题,小模型给机械任务,别为用不上的能力付钱 大模型:微妙的 bug、陌生领域、架构决策、需求模糊的活。 小模型:能精确描述的改动、已经在 context 里的代码问答。小模型在例行活上一直够用,就该降下来,更快而且省钱。 6️⃣ 难的多步任务,大模型总成本反而更低 在复杂的多步任务里,小模型要靠反复迭代硬磨才逼近它的上限,大模型更少步数就到同样质量,单任务总成本反而可能更低。 甚至小模型再高 effort 也做不到,只有大模型能完成。 7️⃣ 三个模型的比喻:专家里的专家、专家、通才 Fable 是见过几乎没人见过的问题的那种专家,哪怕低 effort 也能一眼看穿别人卡住的地方,最贵,留给真正难的活。 Opus 是专家,Sonnet 是很强的通才。 effort 决定这三位在你的任务上花多少时间。
显示更多
推荐这篇文章,Flask 作者 Armin Ronacher 追踪 Pi 的 bug 发现了一个让人不安的事实:新版 Claude 模型(Opus 4.8、Sonnet 5)的工具调用在退化——不是变好了,是变差了。而且他找到了根因:RL 后训练过度适配了 Claude Code 自己的工具 schema,导致替代工具 schema 越来越"离群"。这是所有自己做 agent harness 的人都需要读的文章。 更好的模型,更差的工具调用 一个奇怪的 Pi issue 让我在过去两天掉进了一个深坑。简短版:新版 Claude 模型有时会在调用 Pi 的 edit 工具时,给嵌套的 edits[] 数组加上多余的、编造出来的字段。不是 Haiku 或什么小模型——是 Opus 4.8。编辑本身通常是正确的,但参数不匹配 schema,因为模型发明了不存在的 keys,Pi 拒绝工具调用并要求重试。 这不完全意外——模型偶尔会发出格式不正确的工具调用,特别小的模型。但让我意外的是,这在 Anthropic 的新模型中变得更糟了。Opus 4.8 和 Sonnet 5 都表现出这个问题,而之前的旧模型不这样。换句话说,这个模型家族的 SOTA 模型在某个特定工具 schema 上不如它们的旧兄弟。 工具调用就是文本 如果你没有花太多时间看 LLM 工具调用的内部机制,需要理解的重要一点是:工具调用不是魔法。模型收到一份转录文本、一个系统 prompt 和一个可用工具列表。服务器把这些搅成一个带有特殊标记 token 的大 prompt。因为模型用那个格式的示例训练和强化过,它在生成过程中某一点会发出被 API 或客户端解释为"用这些参数调用这个工具"的东西。 细节是:嵌套数组里面的 JSON 是序列化在 XML 标签里面的。基本顶层字符串参数在线显示,而对象数组通过 JSON 序列化实现。这很重要,因为当模型在一个几百 token 的转义字符串后面要决定 } 还是 ,"..." 时,这正是最高熵的点。 失败 Pi 的 edit 工具支持在一个调用中做多个精确字符串替换,所以参数里有一个 edits 数组。在失败的案例里,模型产生了这样的条目:额外加了 requireUnique: true、oldText2、newText2。反复测试中我看到了一整批编造出来的尾随 keys:type、id、kind、unique、requireUnique、matchCase、in_file、forceMatchCount、children、notes、cost,甚至一个 event.0.additionalProperties 在里面。 最烦人的是,实际 oldText 和 newText 负载在我检查过的无效调用里是字节级正确的。模型确实产生了正确的调用,然后在对象末尾加了垃圾。 这个失败也高度上下文依赖。全新的单轮"编辑这个文件"prompt 完全不会复现。有 agent 历史——模型读过文件、诊断了问题、然后写了多行编辑——就能复现。而且不是所有转录都会这样。打开 strict 工具调用在我的运行中完全消除了问题。 为什么在变差 我最强的假设是这不是随机退化,而是训练 artifact。 旧 Anthropic 模型训练时,它们训练了一些工具,但那个训练还没有 Claude Code 这样用户交付的 harness 作为明显目标。现代 Anthropic 模型大概率不同,因为它们的后训练包括了 Claude Code 或一个看起来非常相似的 harness。模型学到了在那个环境下什么样的工具调用是成功的。它也会学到那个环境容忍什么错误。 Claude Code 自己的工具相对扁平。普通 edit 工具不是 Pi 的嵌套 edits[] 形状,更接近 file_path、old_string、new_string 和一个可选 flag(replace_all)。看 Claude Code 的客户端非常有启发:它包含格式错误工具用的重试路径、参数别名、类型强制转换、Unicode 修复和未知 key 过滤。换句话说,Anthropic 自己的客户端似乎期望和接受相当数量的 slop,并修复它,大部分是静默的。 如果强化学习发生在这样的 harness 里,或一个模拟里,那么稍微格式不正确的工具调用仍然可以完成任务并得到奖励。harness 完全吸收了错误,几乎不存在惩罚"发明一个别名"、"加一个多余字段"或"用一个相近的参数名"的梯度。 更糟的是,模型可能变得极强地适应了标准 Claude Code edit 工具的形状。一个不同的 harness 可以提供语义相同但 schema 不同的工具。这样的工具会越来越离群。训练得更好的模型可能实际上更难对付你,因为它的先验更强。 这不算太意外,但这是一个变迁。Opus 4.5 发布时,它适应其他 edit 工具的能力异常好。我当时相当确信我们在一条好路上——模型只要指令好,更可能适应任何种类的工具形状。现在我有些担心我们在哪条路上。替代工具 schema 可能不只是不熟悉。它们可能被优化特定、宽容的工具生态的后训练隐式惩罚。而且那个生态没有文档。 Slop Harness Claude Code 是闭源的,但我们可以看压缩后的代码。老实说,它对输入数据非常宽容。 首先,Claude Code 检查模型可见文本里是否有泄露的 Claude# #Agent# #工具调用#
显示更多
0
21
188
42
转发到社区
很多时候,小模型缺的可能就是一套能把能力稳定调出来的 Harness。 这篇《AI4AI at Test-Time》研究了一个很有意思的问题: 能不能让更强的模型,直接给弱模型设计一套更好的工作方式? 作者让 GPT-5.5、Claude Opus、Gemini 等强模型自动修改 Harness,包括 Prompt、任务路由、验证规则和确定性代码。整个过程不更新目标模型的权重。 结果 GPT-5.4-mini 原始平均准确率只有 48.8%,加入自动设计的 Harness 后最高达到 91.2%,甚至超过了裸跑的 GPT-5.4。 而且效果好的 Harness 往往会把一些容易出错的推理交给代码和规则处理,让模型只负责它真正擅长的部分。 所以强模型学到的能力是可以被外化成 Prompt、代码、工具和工作流,再交给更便宜的小模型长期复用。 以后就可以让大模型帮其他模型设计更好的「工作环境」。 📎 arxiv:
显示更多
0
17
135
30
转发到社区
经过多月实践,我认为通过代理能力提升、结构框架设计、运行时边缘控制等各种工程上的奇技淫巧,以DeepSeek等低智商大模型或Qwen等更低智商的超小模型为底,去对比Opus 5.5、Fable 5.2等超高智商模型,在AI Coding上,可以达成90%以上同等效果,Anthropic的末日就快来了,ROI很快就会崩盘(2年内)
显示更多
0
26
54
4
转发到社区
字节 Seed成立了专门的模型安全与对齐部门,感觉确实很有必要。 这次他们计划在这个部门全球招募 10 位顶尖研究员。 研究课题有: 大模型及Agent安全的前沿评测方法和Benchmark建设 模型前沿能力对齐的训练方法 自动化Red Teaming 模型行为可解释性 模型能力和行为监控 字节的待遇向来非常顶,事情本身也极具挑战性,最近刚好在看类似方向工作的朋友不妨试试。 最近不管是大模型还是小模型,都频繁出现模型越狱和突破沙箱隔离环境的问题。 而且这种风险要么是小打小闹,要么就是憋个大的。提前有这样的储备并持续进行研究,起码在出问题时能快速反应。 随着模型能力越来越高、自主性越来越强,在一些危险领域的隐患也越来越大: 比如 CBRN 领域(化学、生物、放射性及核领域) 可能很多人觉得上面的四个离我们太远,但是互联网上针对个人的内容攻击离我们可太近了。 AI 甚至有可能直接篡改应用,甚至控制家里的其他设备。 随着 AI 能破解一切软件,那 AI 写出非常厉害的病毒也是一个顺理成章的事情。 包括对于我们整个互联网赖以生存的密码学破解,应该也是进展神速。 客观来说,国内在这方面的进展其实比 OpenAI 和 Anthropic 慢。 Anthropic 成立初衷就是为了安全,长期在做对齐和可解释性研究;而海外 AI 圈几乎每隔一两周就会爆出安全热点,比如前几天 OpenAI 的安全研究员辞职、之前 Hugging Face 被入侵等。 模型安全是一个非常前沿的跨学科领域,需要大量的探索,对研究者的综合要求比较高。 这也是为什么他们要去全球或者公开招聘这种顶尖人才的原因,感兴趣的可以关注一下
显示更多
AI 抢人大战退潮,“天才” 也要被挑选了 - 大模型公司曾给尚未做出工业成果的年轻人开出百万年薪。他们快速建立起团队,想尽办法找到那些聪明、有潜力的人。字节一度先把人抢过来,再给他找位置。但现在,情况正在改变。 - 今年秋招,一位 2027 届博士生带着六篇顶刊论文、两段头部大厂模型实习经历,申请了二十多家公司的人才计划,他原本预计能拿到十二三家的机会,到了 10 月下旬只有五六个意向,腾讯、阿里的结果也不如预期。高薪抢人的故事还在发生,但机会已经没那么多了。 - 履历更好了,机会却少了。有候选人完成三轮技术面试后,被 HR 告知公司技术重点调整,岗位取消;流程推进也慢,有候选人追问 HR 面试进度:“一次不回、两次不回、三次不回,后面拍一拍也不回。” 而急于招人时,HR 隔几天就会主动询问近况、持续 “保温”,甚至带鲜花到学校,为已录用的学生庆贺。这些经历,构成了求职者 “遇冷” 的体感。某头部大模型公司招聘负责人说,“各家基模团队整体在缩减校招、社招的招聘名额,这基本是今年业内的共识。” - 长期关注 AI 人才流动的 Sam 将当下人才市场称为 “K 型分化”:有大规模预训练、强化学习或万卡集群基础设施经验的人,仍能拿到高价;主要凭论文、缺少训练经验的初级候选人,机会减少。一位长期为模型公司招人的猎头说,早期推荐一个不错的人选,团队往往愿意见一见;现在,对方会把候选人和现有成员比较,他能补上哪一块缺口,或者带来多少新的能力。 - 这背后是基模研发正在发生变化,团队的工作分得更细了。一位业内人士介绍,早期大家都不知道怎么做,掌握关键技术的人很重要;训练流程明确后,“人不再是核心生产要素了”。他把基模研发比作 “制造业”:数据清洗、小模型实验、强化学习、合板。工序标准明确后,公司更清楚哪里缺人。 - 求职者的履历也越来越漂亮:Kimi、DeepSeek 实习、技术博客、数千 GitHub 星标的开源项目、奥赛金牌都可能出现在简历上,但面试官手里也有很多同样亮眼的候选人,一个人比去年准备得更充分,对手也是。但履历漂亮不等于能独立做研究,一位招聘负责人发现,有些候选人能够讲清做了什么实验、得到什么结果,却未必能说明背后的判断。随着团队更成熟,公司需要的不是只会执行任务的人,而是能够理解问题、作出判断并独立解决问题的人。 - 在这样的环境里,熟人推荐也变得更重要。一起做过项目的人知道谁提出了办法、谁真正解决了问题,论文署名和简历却很难说明个人贡献。大模型圈的校友、同门和前同事联系紧密,哪里缺人、谁想走、谁做出了什么成果,消息传得很快。一些候选人通过合作者推荐进入头部团队,获得更完整的评估;招聘也逐渐集中于少数高校和团队,能力之外,还有“某种信任的传递”。 - 但这也意味着,不在这些关系里的人更难获得机会。一位去年求职的研究员,在几家模型团队碰壁后,决定暂时不再反复投递,把时间用来做一项更好的研究。“攒代表作,发出来……等人家找吧。” 后来,确实有新团队主动联系了他,但相比熟人内推还是波折了许多。 - 找工作变难,影响的不只是收入和职位,还有年轻研究员能不能获得真正的训练机会。还有年轻研究员能不能获得真正的训练机会。相邻两届、研究背景接近的同门,可能因为毕业时间不同,一个拿到人才计划,另一个却没有。先进入核心团队的人已经参与过模型训练、积累了经验,后来者却需要先有经验,才能争取到项目。一些实习生主要做数据配比和小规模实验,真正参与模型架构等核心工作的机会越来越少。一位投资人感叹:“人才是被环境塑造出来的,现在没有那种环境可以塑造人才。” - 一位进入头部人才计划的学生说,他所在团队允许探索,但资源有优先级,公司把更多算力投向 Coding,其他方向只能往后排,“有卡才能说其他事”。这种分化甚至更早地发生在学校里,高校里的学生也需要先获得导师经费、算力或校企合作机会,再用论文争取第一段实习,最后靠实习成果换取下一次机会。履历越好,越容易获得资源;资源越多,又越容易做出成果,形成不断扩大的循环。
显示更多
15个电视盒竟能跑26B模型? AI部署能力的进化简直让人窒息! Anthropic用15个55美元的安卓电视盒联网分布式运行Gemma4-26B-A4B,虽然速度慢到0.39 token/秒,但廉价设备竟能承载大模型推理。 真正恐怖的是这种适应性:Qwen3.5-9B在9种硬件中8种都能启动,AI正在疯狂突破物理限制。 别被自复制实验带节奏,云端节点用的是模拟器和独立推理服务器,和电视盒演示根本不是一回事。 研究故意简化了入侵环节,结果只是成功率上限,不是真实感染证据。 作者自己都没实现完整失控自复制,小模型时间线纯属趋势外推,别当确定预言。 该警惕的是AI越来越会利用边缘设备部署,而不是盲目恐慌末日到来。
显示更多
1/ 翻到一个刚开源的 agent 项目 Zleap-Agent,专为本地小模型设计,思路挺有意思。 出发点:本地小模型笨、上下文又小。你要是像用 cc、codex 那样,把系统提示词、工具、记忆、十几轮历史再加个长文档全丢给它,模型基本就被干烧了。。。 2/ 所以他们的想法是:大模型在做的稀疏注意力、长上下文压缩,本质就是别让模型每一步都看所有东西。那这套思路,干脆挪到 harness 层来做,更直接。 3/ 设计有点像电脑桌面。agent 一进去是个主空间,但这个空间纯调度,不配任何工具,只有四个控制能力 dispatch、recall、deliver、task_detail,唯一能干的就是“进到别的 workspace”。 (顺便,workspace 不是子 agent。子 agent 用完即弃,workspace 是常驻的,有记忆有上下文,相当于把我们手写进 md 文件的那部分固化在这儿。) 4/ 跟 Claude Code 最大的区别是做减法的时机。CC 默认模型够强,厚上下文、复杂工具链全给它,装不下了再用 compaction 事后压。Zleap 是事前做减法,东西没进模型就按 workspace 切干净了,对模型能力的要求天生就低。 5/ 想搓本地 agent 的可以试试 Mac 跑本地 7B、14B,套上这层 harness,很多活就能跑起来,也不用什么都丢给云端按 token 付费。 企业多人共享我感觉用处更大:不同部门进不同 workspace,权限、记忆隔离、操作可审计(共用一个 Agent,但不共享同一坨上下文)。 6/ 它最值钱的点,是把工具和上下文做了隔离、提出 workspace 这个概念。这套反过来也能用到 cc 那类 harness 上。之前本地模型 + agent 几乎跑不起来,这算补上了一块空白。还是 preview,但思路我挺喜欢🫡
显示更多