🚨 MIT 刚放出的这项研究,毫不夸张的说,彻底颠覆了所有搞大模型的团队的认知。
过去整个 AI 圈的底层共识,被这一击彻底击穿:
我们一直以为神经网络是混沌的黑盒,想调优,就得烧成百上千万算力、灌海量数据,靠梯度下降一点点去“磨”。
而 GPT-6 Astra 用最粗暴的方式给出了答案:
在足够高阶的模型眼里,所谓的神经网络权重,根本就是一段明文汇编代码。
它不仅能“读懂”,甚至已经能“现场重构”。
来看看这篇报告里把人看呆的四个递进神迹:
裸读权重识语义:一堆毫无标注的纯浮点数字矩阵,不给工具、不给选项。它扫一眼,当场辨认出这四个策略分别在跑 Breakout、Pong、Pac-Man 还是 Freeway。这是直接跨越维度,反编译出了高维语义。
3.5% 参数的靶向热修:经典控制里怎么都爬不上斜坡的小车,它像顶级外科医生一样挑出 3.5% 的关键权重直接修改,一次推导,成功率瞬间拉到 100%。
零算力手写权重,暴打 5 亿步训练:一分钱不花,不跑一秒反向传播,完全凭空手写出一套打砖块的网络权重。最终跑分是 PPO 算法吭哧吭哧训了 5 亿步模型的整整 20 倍!
万分之 1.6 的微创手术:开源小模型 Qwen3.5-0.8B 陷入推理死循环怎么解?它精准动了 0.016% 的参数,直接切除逻辑“脑血栓”。MATH-500 准确率从 7.9% 暴力拉到 48.1%,指令遵循能力直接翻了 3 倍!
全程没有梯度回传,没有损失函数,更没有漫长的训练循环。
这就是认知维度的绝对碾压:
低维还在拿海量算力当燃料去蛮力炼丹,真正的顶级智能已经开始像写代码、打补丁一样,直接给下层神经网络做逆向重构了。
这不是又一个微调 Trick,这是现代深度学习优化范式正在发生大地震的明确信号。
当 AI 能够读懂、逆向、重写一套网络权重时,“递归自我改进(Recursive Self-Improvement)”就不再是科幻小说里的狂想,而变成了排在日程表上的工程问题。
最让人敬佩的是,作者团队直接把所有 Execution Log 和改过的权重全部无保留开源。不玩神秘主义,直接端上桌任全行业验证复现。
这是每个搞 AI、搞系统架构的人都不能错过的工程里程碑。
去把那篇论文和复现权重跑一遍,未来的窗口期,可能比所有人预想的都要窄。
顯示更多
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math.
It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training.
We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵
Blog:
顯示更多