TwiScan
Hot
Communities
Account collections
Login
Register
English
日本語
한국의
简体中文
繁体中文
Register and share your invite link to earn from video plays and referrals.
Register now
Michael Guo
@Michaelzsguo
Building AI agents and AI-native orgs. Demystifying AI in practice. EN/中文 (Selected build notes, experiments, and practical tips at the website link.)
Joined January 2022
434
Following
12.1K
Followers
Michael Guo
@Michaelzsguo
2026.11.03 11:19
大模型已经可以通过“外科手术”式的操作(weight space programming)改写模型权重。在这项能力上,头部闭源模型的表现远胜于开源模型。谷歌的新模型 Carbon 表现尤其不俗。
Show more
Michael Guo
@Michaelzsguo
2026.11.02 22:05
这简直是匪夷所思。 一个 MIT 一年级博士生 Rikiya Takehi,和团队做了一组实验:让 GPT-6 Astra 直接读懂、修改,甚至从零写出另一个神经网络的权重。 他们先从小游戏开始。把四个网络的原始权重交给 Astra,不告诉它游戏名称,也不提供选项,它竟然全部认了出来:打砖块、Pong、吃豆人和 Freeway。这四个网络的结构、输入和可选动作都一样,区别藏在权重里。 接着是修复行为。一个经过强化学习训练的小车网络,只会往坡上冲,始终卡住。Astra 看了权重、场景描述和一次失败记录,在不能调用工具的情况下,一次回复就写出了补丁。只改动 3.5% 的权重,小车就学会了先倒车,再加速冲坡,在 1,024 次测试中全部成功。 他们还让 Astra 从零写权重。给它打砖块的规则、源码和网络结构,不允许训练,也不允许试玩。它直接把“预判球的落点,再移动挡板”的策略写进网络,最终得分超过训练了 5 亿步的 PPO 网络约 20 倍。 然后,他们把同一个问题推到了语言模型上:能不能直接修改 Qwen3.5-0.8B 的权重,让它更擅长数学? Astra 在检查权重和观察答题表现后,发现这个小模型经常陷入推理循环。它把问题定位到两层 MLP 中的一个方向,只修改了 0.016% 的权重,没有梯度下降,也没有重新训练。 在最多 50 次前向调用的预算内,修改后的模型在相同采样设置下,MATH-500 得分从 7.9% 升到 48.1%,GSM8K 从 13.8% 升到 67.1%。连指令遵循测试 IFEval,也从 21.0% 升到 62.3%。 他们把这个方法叫作 Weight-Space Programming,权重空间编程:让大模型根据任务,直接检查和改写神经网络里的数字。
Show more
0
0
0
2
0
Forward to community
Most Popular Users
Tibo
@thsottiaux
1M Followers
FinancialJuice
@financialjuice
959K Followers
First Squawk
@FirstSquawk
579.7K Followers
Serenity
@aleabitoreddit
1.1M Followers
Binance Wallet
@BinanceWallet
2.8M Followers
LiveSquawk
@LiveSquawk
504.1K Followers
Binance
@binance
16.1M Followers
New York Post
@nypost
4.3M Followers
CNBC
@CNBC
6.3M Followers
ClaudeDevs
@ClaudeDevs
829.6K Followers
Seeking Alpha
@SeekingAlpha
347.9K Followers
The Wall Street Journal
@WSJ
22.3M Followers
TheStreet
@TheStreet
1.2M Followers
Boris Cherny
@bcherny
640.9K Followers
Thariq
@trq212
403.9K Followers