跳到正文
热点事件历史事件

Astra 直接改写 Qwen3.5 权重,数学得分升 6 倍

5 篇报道4 个报道来源6 天前更新

先了解这件事

AI 综述

MIT 团队提出 Weight-Space Programming,让 GPT-6 Astra 不借助梯度下降,直接以文本读取并编辑神经网络权重。据 RikiyaT 发布的博客,在 Qwen3.5-0.8B 上,Astra 只改动了该模型 8 亿个权重中的 131,072 个(0.016%),MATH-500 得分从 7.9% 升到 48.1%,指令执行能力提高 3 倍。实验不允许 Astra 编写训练循环,也不允许使用工具或前向传播;Astra 可以用 Python 分析权重,但不能让网络或任何层对输入运行。 Astra 仅凭权重就能判断网络训练的游戏、扩散模型生成的形状和小语言模型训练语言,还能从零写出击败 PPO 训练 1 亿步网络的 MinAtar 策略。 Simon Willison 用论文提供的原始提示词,在笔记本上运行 Qwen 3.8 27B,仅凭浮点权重文本猜出网络训练的游戏;他称该模型在 Freeway 提示上失败。

AI 根据报道生成 · 6 天前更新

事件进展

2 个进展

  1. 11月4日 00:29 · 1 篇报道
    Simon Willison 用 Qwen 3.8 27B 复现权重解读实验
    Simon Willison:笔记本上的 Qwen 3.8 27B 也能解读模型权重
  2. 11月3日 02:21 · 2 篇报道
    Astra 直接读写神经网络权重
    量子位:MIT 实验:GPT-6 Astra 直接修改 Qwen3.5 权重,MATH-500 得分提升约 6 倍

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. Latent Space
    Latent Space 周报:权重空间编程复现争议与 AI Engineer 上海站

    Latent Space 的 AINews 汇总了 11 月 2 日至 3 日的 AI 动态,重点讨论“权重空间编程”的复现与质疑。GPT-6 Astra 在 Qwen3.5-0.8B 上改动 131,072 个权重(约 0.016%),MATH-500 从 7.9% 升至 48.1%,但复现分析显示多数提升来自消除 32K token 循环失败模式,而非新增数学能力。

11月4日
  1. Simon Willison
    笔记本上的 Qwen 3.8 27B 也能解读模型权重

    Simon Willison 用论文《Sparks of Weight-Space Programming》提供的原始提示词,在笔记本上运行 Qwen 3.8 27B,仅凭浮点权重文本猜出网络训练的游戏。

11月3日
  1. Latent Space
    LLM 可直接读写神经网络权重,Weight-Space Programming 论文引社区讨论

    Takehi 等人提出 Weight-Space Programming,让前沿 LLM 从自然语言目标直接检查和编辑神经网络权重张量,不依赖梯度下降或训练循环。

  2. 量子位精选
    MIT 实验:GPT-6 Astra 直接修改 Qwen3.5 权重,MATH-500 得分提升约 6 倍

    MIT 团队提出 Weight-Space Programming,让 GPT-6 Astra 直接读取并编辑 Qwen3.5-0.8B 的权重,仅改动 0.016% 的权重、不经训练和梯度下降,MATH-500 得分从 7.9% 升到 48.1%,指令执行能力也提高 3 倍。

  3. Hacker News 首页(≥150分)精选
    Astra 可直接读写神经网络权重,修复 Qwen3.5-0.8B 推理循环

    研究团队提出 Weight-Space Programming,让 GPT-6 Astra 不借助梯度下降、直接以文本读写神经网络权重。Astra 仅凭权重就能判断网络训练的游戏、扩散模型生成的形状和小语言模型训练语言,还能从零写出击败 PPO 训练 1 亿步网络的 MinAtar 策略。

本事件热度走势

可比范围当前
3
可比范围峰值
2211月4日 01:00
近 24 小时变化
-77%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。