TwiScan
인기
커뮤니티
계정 컬렉션
로그인
회원가입
English
日本語
한국의
简体中文
繁体中文
가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.
지금 가입
Michael Guo
@Michaelzsguo
Building AI agents and AI-native orgs. Demystifying AI in practice. EN/中文 (Selected build notes, experiments, and practical tips at the website link.)
가입 January 2022
434
팔로잉 중
12.1K
팬
Michael Guo
@Michaelzsguo
2026.11.03 11:19
大模型已经可以通过“外科手术”式的操作(weight space programming)改写模型权重。在这项能力上,头部闭源模型的表现远胜于开源模型。谷歌的新模型 Carbon 表现尤其不俗。
더 보기
Michael Guo
@Michaelzsguo
2026.11.02 22:05
这简直是匪夷所思。 一个 MIT 一年级博士生 Rikiya Takehi,和团队做了一组实验:让 GPT-6 Astra 直接读懂、修改,甚至从零写出另一个神经网络的权重。 他们先从小游戏开始。把四个网络的原始权重交给 Astra,不告诉它游戏名称,也不提供选项,它竟然全部认了出来:打砖块、Pong、吃豆人和 Freeway。这四个网络的结构、输入和可选动作都一样,区别藏在权重里。 接着是修复行为。一个经过强化学习训练的小车网络,只会往坡上冲,始终卡住。Astra 看了权重、场景描述和一次失败记录,在不能调用工具的情况下,一次回复就写出了补丁。只改动 3.5% 的权重,小车就学会了先倒车,再加速冲坡,在 1,024 次测试中全部成功。 他们还让 Astra 从零写权重。给它打砖块的规则、源码和网络结构,不允许训练,也不允许试玩。它直接把“预判球的落点,再移动挡板”的策略写进网络,最终得分超过训练了 5 亿步的 PPO 网络约 20 倍。 然后,他们把同一个问题推到了语言模型上:能不能直接修改 Qwen3.5-0.8B 的权重,让它更擅长数学? Astra 在检查权重和观察答题表现后,发现这个小模型经常陷入推理循环。它把问题定位到两层 MLP 中的一个方向,只修改了 0.016% 的权重,没有梯度下降,也没有重新训练。 在最多 50 次前向调用的预算内,修改后的模型在相同采样设置下,MATH-500 得分从 7.9% 升到 48.1%,GSM8K 从 13.8% 升到 67.1%。连指令遵循测试 IFEval,也从 21.0% 升到 62.3%。 他们把这个方法叫作 Weight-Space Programming,权重空间编程:让大模型根据任务,直接检查和改写神经网络里的数字。
더 보기
0
0
0
2
0
커뮤니티로 전달
인기 있는 사용자
New York Post
@nypost
4.3M 팬
オリコンニュース
@oricon
2M 팬
Reuters
@Reuters
26.5M 팬
First Squawk
@FirstSquawk
579.7K 팬
Bloomberg
@business
10.5M 팬
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K 팬
TVer新着
@TVer_info
101.8K 팬
ツイッター速報〜BreakingNews
@tweetsoku1
259.9K 팬
billboard
@billboard
16.8M 팬
吴说区块链
@wublockchain12
183K 팬
zerohedge
@zerohedge
3.4M 팬
i-dle (아이들)
@official_i_dle
2.3M 팬
モデルプレス
@modelpress
2.1M 팬
ITZY
@ITZYofficial
6.6M 팬
ATEEZ(에이티즈)
@ATEEZofficial
4.9M 팬