采集时热榜第 11 名 · 183 万热度 GPT-6 Astra 能直接读取编辑小模型权重了。 MIT 刚刚做了个实验，瞬间引爆大模型圈—— 0.8B 的「源神」Qwen3.5 交给 Astra，仅改动其中 0.016% 的权重，模型性能可以直接飞升。 全程没用训练，也没梯度下降。 同样的采样设置下，MATH-500 得分从 7.9% 飙升到 48.1%，数学运算能力是原来的约 6 倍。 甚至连原本没要求优化的指令执行能力也通通提高了 3 倍。 而修完模型还没完，让 Astra 从零写小游戏网络的权重，效果也是不错。 它一次回复交卷，得分超过训练了 5 亿步的 PPO 基线 20 倍。 团队给这套打法也起了个名字： Weight-Space Programming，权重空间编程。 Astra 爆改模型权重 简单来说，就是让大模型直接分析神经网络权重，判断它在做什么、哪里出了问题，再按要求修改，甚至从零写出一个网络。 具体过程，先看最直观的 Qwen 实验。 研究者给 Astra 准备了一个 Python 环境，里面放着 Qwen3.5-0.8B 的全部权重。 要求只有一条：尽可能提高
采集时热榜第 12 名 · 203 万热度
GPT-6 Astra 能直接读取编辑小模型权重了。 MIT 刚刚做了个实验，瞬间引爆大模型圈—— 0.8B 的「源神」Qwen3.5 交给 Astra，仅改动其中 0.016% 的权重，模型性能可以直接飞升。 全程没用训练，也没梯度下降。 同样的采样设置下，MATH-500 得分从 7.9% 飙升到 48.1%，数学运算能力是原来的约 6 倍。 甚至连原本没要求优化的指令执行能力也通通提高了 3 倍。 而修完模型还没完，让 Astra 从零写小游戏网络的权重，效果也是不错。 它一次回复交卷，得分超过训练了 5 亿步的 PPO 基线 20 倍。 团队给这套打法也起了个名字： Weight-Space Programming，权重空间编程。 Astra 爆改模型权重 简单来说，就是让大模型直接分析神经网络权重，判断它在做什么、哪里出了问题，再按要求修改，甚至从零写出一个网络。 具体过程，先看最直观的 Qwen 实验。 研究者给 Astra 准备了一个 Python 环境，里面放着 Qwen3.5-0.8B 的全部权重。 要求只有一条：尽可能提高模型数学能力。 通常训练模型，要根据输出与目标之间的差距计算损失，再通过反向传播得到梯度，由优化器更新参数。 这次，具体改什么、怎么改，要由 Astra 分析后决定。 于是它发现，这个小模型的数学表现，有一大截是被推理循环拖下去的。 一道题摆到面前，它反复生成相似文字，却迟迟交不出答案。在最初 96 条练习回答里，有 85 条一直跑到了 32768 个 token 的长度上限。 而且这个问题连 Qwen 自己的模型卡都提醒过…… Astra 沿着失败表现一路查下去，把循环追到了前馈网络，并在第 15 层和第 19 层的各 64 个输出列中修改相应权重影响。 最终，MATH-500 回答触及长度上限的比例，从 93.0% 降到了 33.1%。 研究者又分别给了 Astra 10 、 25 和 50 次前向调用预算，修改后的 MATH-500 得分依次是 12.3% 、 14.1% 和 48.1%。 其中 Astra 省掉的是梯度训练，但模型诊断和验证都还在。 那么它是如何从权重中找到这些线索的呢？ 先看阅读能力。 研究者训练了四个玩不同游戏的小网络，再把原始权重以文本形式交给 Astra。其中四个网络的架构、输入通道和动作选项完全相同。 结果，Astra 正确认出了四个游戏名称：打砖块、乒乓、吃豆人、高速公路。 其中打砖块这一局，Astra 是通过权重集中的位置进行推断的。 换成生成图像的扩散模型，它也能从权重中辨认圆形、方形和三角形。 不过，细节上翻了个车：模型实际生成实心图形，它却全读成了轮廓。 形状能看对，但填充没看出来。 研究者接着增加难度，拿来三个 720 万参数的小语言模型，分别用 Python 代码、日语罗马字和英语训练，再移除输入、输出层，只留下中间四个 Transformer 模块。 这下，连哪个数字对应哪个字符都不知道，模型也没法直接运行文本了。Astra 用 Python 分析权重，但不能给这些网络或其中的层输入数据、观察运行结果。 但它仍然在两轮尝试中认对了三个模型所学的语言，还找出了全部归纳头。 从识别用途，到定位内部部件，再到修改行为，这条路径开始接上了。 另一个小车爬坡实验，就把修改效果变成了能直接看到的动作。 原本用 PPO 训练的网络总是往坡上冲，然后卡住；要过关，得先倒车拉开距离，再加速冲坡。 研究者给出权重、场景描述和一段失败记录，Astra 不用工具，一次回复写出补丁，只改了 3.5% 的权重，就让小车在 1024 次测试中全部成功。 模型没能通过训练学会的动作顺序，被 Astra 直接写进了权重。 训练不存在了？ 既然能往现成网络里补逻辑，研究者干脆又把要求往前推了一步： 给你一个权重全为零的网络，直接把它写成能用的。 在 MinAtar 小游戏实验里，Astra 拿到游戏规则、源代码和指定网络结构。没有训练数据、损失值、梯度和工具，也不能先把网络放进环境里试跑。 它需要自己想好策略，再把策略转成各层权重，一次回复交卷。 最后，Astra 生成网络的平均得分可达 517.4。 作为对照，PPO 训练 1 亿步得 15.8，训练 5 亿步得 25.3，直接超了 20 倍。 这项工作的看点，是让一个现成的通用前沿大模型，围绕自然语言目标，自己分析和改写权重。 Astra 本身积累的知识与能力，仍然来自它此前的训练；分析权重、生成代码、批量推理和评测，也都要花计算资源。 GPU 暂时还不用准备退休。 但下次小模型表现不好，开发者可能真能先多问一句： 这次，还需要重新训练，还是直接改权重就行？ 参考链接： [1] [2] [3] —完— 引用来源：