Astra 直接改写 Qwen3.5 权重,数学得分升 6 倍
先了解这件事
MIT 团队提出 Weight-Space Programming,让 GPT-6 Astra 不借助梯度下降,直接以文本读取并编辑神经网络权重。据 RikiyaT 发布的博客,在 Qwen3.5-0.8B 上,Astra 只改动了该模型 8 亿个权重中的 131,072 个(0.016%),MATH-500 得分从 7.9% 升到 48.1%,指令执行能力提高 3 倍。实验不允许 Astra 编写训练循环,也不允许使用工具或前向传播;Astra 可以用 Python 分析权重,但不能让网络或任何层对输入运行。 Astra 仅凭权重就能判断网络训练的游戏、扩散模型生成的形状和小语言模型训练语言,还能从零写出击败 PPO 训练 1 亿步网络的 MinAtar 策略。 Simon Willison 用论文提供的原始提示词,在笔记本上运行 Qwen 3.8 27B,仅凭浮点权重文本猜出网络训练的游戏;他称该模型在 Freeway 提示上失败。
AI 根据报道生成 · 6 天前更新
事件进展
2 个进展
- 11月4日 00:29 · 1 篇报道Simon Willison 用 Qwen 3.8 27B 复现权重解读实验Simon Willison:笔记本上的 Qwen 3.8 27B 也能解读模型权重
- 11月3日 02:21 · 2 篇报道Astra 直接读写神经网络权重量子位:MIT 实验:GPT-6 Astra 直接修改 Qwen3.5 权重,MATH-500 得分提升约 6 倍
报道时间线
沿着报道,了解事件的不同侧面。
- Latent SpaceLatent Space 周报:权重空间编程复现争议与 AI Engineer 上海站
Latent Space 的 AINews 汇总了 11 月 2 日至 3 日的 AI 动态,重点讨论“权重空间编程”的复现与质疑。GPT-6 Astra 在 Qwen3.5-0.8B 上改动 131,072 个权重(约 0.016%),MATH-500 从 7.9% 升至 48.1%,但复现分析显示多数提升来自消除 32K token 循环失败模式,而非新增数学能力。
- Simon Willison笔记本上的 Qwen 3.8 27B 也能解读模型权重
Simon Willison 用论文《Sparks of Weight-Space Programming》提供的原始提示词,在笔记本上运行 Qwen 3.8 27B,仅凭浮点权重文本猜出网络训练的游戏。
- Latent SpaceLLM 可直接读写神经网络权重,Weight-Space Programming 论文引社区讨论
Takehi 等人提出 Weight-Space Programming,让前沿 LLM 从自然语言目标直接检查和编辑神经网络权重张量,不依赖梯度下降或训练循环。
- 量子位精选MIT 实验:GPT-6 Astra 直接修改 Qwen3.5 权重,MATH-500 得分提升约 6 倍
MIT 团队提出 Weight-Space Programming,让 GPT-6 Astra 直接读取并编辑 Qwen3.5-0.8B 的权重,仅改动 0.016% 的权重、不经训练和梯度下降,MATH-500 得分从 7.9% 升到 48.1%,指令执行能力也提高 3 倍。
- Hacker News 首页(≥150分)精选Astra 可直接读写神经网络权重,修复 Qwen3.5-0.8B 推理循环
研究团队提出 Weight-Space Programming,让 GPT-6 Astra 不借助梯度下降、直接以文本读写神经网络权重。Astra 仅凭权重就能判断网络训练的游戏、扩散模型生成的形状和小语言模型训练语言,还能从零写出击败 PPO 训练 1 亿步网络的 MinAtar 策略。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 2211月4日 01:00
- 近 24 小时变化
- -77%
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。