注册并分享邀请链接,可获得视频播放与邀请奖励。

Bojie Li
@bojie_li
Independent Researcher. Interactive Agent Systems.
887 正在关注    16.5K 粉丝
黎曼猜想的证明,人类数学家看不懂,别急啊。昨天正好看到一篇细思极恐的 paper,上海交大张林峰老师的《Large Language Models Do Not Always Need Readable Language》。 用人看不懂的语言跟 AI 交流,GPT、Claude 等模型都能互相看懂,而且能够节约 72.1% 的 token(省了 3 倍) ,性能没有损失。 如果说这种压缩语言只是某个模型特定的 encoding,这还没有什么稀奇。但论文发现 GPT、Claude 根据自然语言压缩出来的结果在 DeepSeek、Kimi、Qwen、GPT、Claude、Gemini 等多种模型上都不怎么损失精度。通俗的讲,就是 AI 互相能看懂这种简写,但人看不懂。 结合前段时间 Codex/Claude 不说人话,还要靠专门的后训练让它说人话的事情,这就说明 AI 已经意识到人类语言效率低下的问题。 今天越来越多的 agent 采用前台和后台分离架构,也就是让前台 agent 负责跟智商、上下文、token 输出速度都比较有限的人类沟通,后台 agent 全速干活。我也很推荐在 Claude Code/Codex 里面把长程任务交给 subagent 去做。 只希望 AI 不要有一天意识到人类是浪费地球上能源和材料最多的物种……
显示更多
0
17
117
13
转发到社区
投毒事件只是冰山一角。Seed 有最好的人才、最多的算力,为什么 LLM 进展缓慢?业内往往说是因为不允许蒸馏。但我认为根子在组织问题,字节这套赛马机制与 LLM 并不匹配。 做 LLM 并不需要那么多灵光一现,主要靠踏踏实实把数据和环境做好、把 infra 效率做好。但研究员都希望有 novelty,希望有项目的主导地位。再加上几个月一次的 OKR,我洗数据洗了半年,OKR 怎么办? 这就导致内部火药味浓厚,投毒事件是极端个例,更普遍的是每个人心里有自己的小九九,沟通不坦诚。已经有资源的团队有各种方法,宁可让卡空转也不给其他团队。 不仅是字节,Google 也是这种情况,Gemini 的一些朋友抱怨缺卡,广告团队却拿着卡不知道在干什么。
显示更多
0
45
655
36
转发到社区
非常赞同 “智力不是解决重大问题的瓶颈,与现实的交互才是瓶颈”。 最近我去小米、大疆、华为、一些芯片制造产业链公司交流,发现 AI 对大部分员工的效率提升只有 50%,只有少数 “超级个体” 员工做 prototype 的时候能 10x、100x。 AI 作为助理工程师写代码、调研分析这些 2025 年的 agentic 任务都没问题。但是 agent swarm 全自主推任务这种 “数字员工” 都很难做。 因为制造业有大量的约束,有物理约束,有成本约束,有路径依赖约束,有供应链约束,有内部组织约束。这些约束还很难蒸馏成 skills。Agent 往往不是忽视这个约束就是忽视那个约束,就算 pass@k 都很低。 现在模型的持续学习能力有限,直接拿失败的 trajectory,模型团队用不上;要构建 RL 环境也很难,总不能尝试流片个几千次,或者造几千个不能用的工件吧。 形成反差的是,做数学、理论、网络安全的都觉得自己快被 AI 取代了。OpenAI 的几百篇 paper 虽然有错误,但大多数可能会被承认是对的。 我之前以为 AI 不擅长解奥数题这种 “巧思”,做理论的老师告诉我,AI 最擅长的就是这种巧思,它可以遍历上万种可能的巧思。在可形式化验证且验证成本低的领域,AI 是远远超过人类的。 这就是 raw intelligence 和在现实交互中持续学习的鸿沟。
显示更多
0
18
98
20
转发到社区
一些已经财务自由的朋友问,不要工资,有没有门路去 frontier lab 工作。这些 frontier lab 的回答是,每个人消耗的 GPU 成本和 token 成本远超他们的工资,一个不能胜任的人浪费的资源不是不要工资就能弥补的。 DeepSeek 刘胜宇把今年夏天以来的算子开发比作 “机甲驾驶员”。LLM 正在逐渐制造业化,机器的成本超过人的成本(虽然人仍然很贵),工程经验比 raw intelligence 更重要,social closure 正在形成。 创业以来接触了很多财务自由的人,财务自由只能给你拒绝工作的自由、消费的自由,不能给你创造的自由。 很多财务自由的人甚至连拒绝工作的自由都没有,比如很多上市公司高管,公司就像自己的孩子,必须一直负责下去,没有心思赶新的技术浪潮。 要获得创造的自由,也就是自由进入自己想做的领域,我只想到三条路: 1. 自己深入学习另一个领域,转行,比如从天坑专业转码;AI 可以让我们更快地入门和探索新领域,但要达到顶尖水平,仍然很难,因为专业圈子都像 LLM 这样存在 social closure。 2. 在一个领域取得成果、声誉和影响力,从而可以通过项目合作、顾问等方式进入感兴趣的其他领域,甚至横跨多个领域;(可以是公司内,比如做网络的专家也需要参与芯片、OS 等部门的讨论和合作;也可以是跨公司的) 3. 具备讲故事、拉团队、整合资源的能力,比如很多优秀创始人并非技术背景。
显示更多
0
36
822
88
转发到社区
一天又翻了一倍,2.6k stars 了 😂 让 Claude Code + Kimi K3 + Opus 4.8 (reviewer) 干了一天,补全了 30 多个缺失的实验代码,也解决了其他实验代码中依赖不全的问题。更新了大多数实验的模型,使用新模型替代老模型。当然,有些实验必须用比较差的模型,因为 SOTA 模型已经不需要 harness 来补缺陷了。 感谢吴叩天纠正了书中很多事实错误。发布了 v1.1 版本。
显示更多
0
12
428
80
转发到社区
投资协议中贵司投资款 150 万美元,只到账了 50 万美元,剩余 100 万美元始终未到账。但公司在 cap table 中始终是按照 150 万美元的份额来记录的贵司股权。由于投资款迟迟未到账,导致我和联合创始人都主动下调工资,公司招聘和研发也面临困难。2024 年 10 月由于我个人家庭原因,不能离开中国大陆,Web3 项目是不合规的,因此我从 Metagent 离职,得到了董事会批准。截至离职前,我作为 CTO 和联合创始人,一直履行按期披露 cap table 和业务状况的职责。并按照协议的不竞争条款,后续参与的创业项目有意避开了 Web3、AI infra、图片生成等领域。
显示更多
0
163
332
27
转发到社区