Weight-Space Programming:像1990年代研究员一样构建神经网络
摘要
一篇博客文章探讨了 Weight-Space Programming(权重空间编程),即前沿大模型直接读写神经网络权重,结果显示,让 LLM 手工构建 MNIST 卷积神经网络的权重,本质上重新发现了深度学习之前的经典技术。
查看缓存全文
缓存时间: 2026/11/20 03:05
权重空间编程像 1990 年代的研究员一样构建神经网络
来源:https://notesbylex.com/weight-space-programming-1990s WSP 中关于“写作“的部分,原来是一堂相当深刻的历史课。
引言
权重空间编程(Weight-Space Programming,https://notesbylex.com/weight-space-programming)至今仍让我十分着迷。其核心思想是:前沿 LLM 可以读取、写入和编辑神经网络的权重。其中的细节颇有讲究,但感觉还有大量新领域值得探索。
在原始博客文章(https://rikiyat.github.io/blog/weight-space-programming/)中,除了读取和编辑实验外,作者们还让 GPT-6 Astra 从零开始构建了一个下围棋的网络,然后通过自我对弈练习来改进它,并根据损失分析来编辑权重。这种“写入—测试—编辑“的循环感觉像是一种全新的网络训练方式,有点像 LLM Descent(LLM 梯度下降)。但真的如此吗?
在这篇文章中,我用 Claude Fable 5.2 在一个熟悉的图像分类问题上进行了自己的权重编写实验。仔细观察模型构建出来的东西,会发现它其实是一堂关于手工打造的、深度学习之前时代的有趣技术的历史课。带着这个新视角审视权重空间编程,我又研究了原始文章中 Astra 构建的围棋网络,发现了非常相似的东西。
用 LLM Descent 构建图像分类器
MNIST 是图像分类问题的鼻祖(OG)。目标是给每个手写数字标注 0 到 9。
来自 MNIST 训练集的二十个手写数字,0 到 9 每个数字各两个,用深色墨水画在 28×28 像素的米白色方格上。(https://notesbylex.com/_media/llm-descent/mnist-examples.png)
与原始权重空间编程文章中的围棋测试类似,我构建了一个固定 CNN(https://notesbylex.com/convolutional-neural-network)的测试,然后让 Claude 编写代码,从零开始设置其所有权重,并附带几条规则,包括禁止拟合、回归或搜索。明确允许通过公式或笔画手工绘制滤波器和模板。
这比 Astra 下围棋时的条件严格得多:没有 PyTorch,没有练习对局,每次尝试后只能看到训练损失、准确率和混淆矩阵。本篇博客中的测试是用 Claude Fable 5.2 运行的,其表现明显优于 Opus 5.5。
Claude 一开始没有任何权重,必须“手动“设置这个网络的全部 5,994 个权重:
model = nn.Sequential(
nn.Conv2d(1, 8, 5), # conv1: 1x28x28 -> 8x24x24
nn.ReLU(),
nn.MaxPool2d(2), # 8x24x24 -> 8x12x12
nn.Conv2d(8, 16, 5), # conv2: 8x12x12 -> 16x8x8
nn.ReLU(),
nn.MaxPool2d(2), # 16x8x8 -> 16x4x4
nn.Flatten(), # 16x4x4 -> 256
nn.Linear(256, 10), # fc: 256 -> 10 class logits
)
你可以在 GitHub 上阅读完整的提示词(https://github.com/lextoumbourou/weight-space-programming-experiments/blob/main/mnist-training/results/fable-a-1/prompt.md)。
Claude 的代码运行在一个只能导入 NumPy、SciPy 和 math 的沙盒中。一旦它返回权重,一个测试框架就会用这些权重在训练图像和测试图像上运行网络。
Claude 最多有 50 步,每一步都能看到此前所有的反馈。训练集是来自 MNIST 官方训练划分的 10,000 张图像。Claude 从未见过那 10,000 张官方测试图像,也不知道自己在测试集上的得分,训练损失最低的网络将作为最终测试成绩。
一个由箭头连接的四个纯色方块组成的循环图:Claude 编写 build_weights();一个沙盒设置全部 5,994 个权重;网络在 10,000 张训练图像上运行;Claude 收到损失、准确率和混淆矩阵,并编写下一步。旁边另有一个方块注明测试集从不展示。(https://notesbylex.com/_media/llm-descent/loop.png)
以下是它第一次尝试后收到的反馈示例:
Step 1 of 50: training loss 1.0324, accuracy 0.7147.
Confusion matrix (rows: true digit, columns: predicted digit):
true \ predicted 0 1 2 3 4 5 6 7 8 9
0 723 0 39 0 0 42 181 0 5 1
1 4 1022 23 0 3 4 0 8 0 0
2 30 5 461 176 3 12 9 13 271 10
3 2 0 8 687 0 125 51 4 133 20
4 7 19 14 6 768 0 35 10 22 102
5 10 5 13 45 2 492 312 6 29 1
6 41 17 19 1 266 8 603 0 10 2
7 8 2 21 45 2 7 13 906 11 75
8 15 19 86 5 5 4 60 27 714 74
9 15 9 1 4 1 19 46 82 13 771
History (training set, 10,000 images):
step | loss | accuracy
---- | ---- | --------
1 | 1.0324 | 0.7147
At most 49 steps left. Reply with the complete build_weights() for step 2
in one Python code block.
下降过程
我运行了三次。
一张步骤图,展示三次 Fable 5.2 运行中迄今为止的最佳训练损失,每一步的损失用点表示,测量步骤用顶部刻度标记。三条线在全部 50 步内从 1.0 到 1.7 之间下降到 0.26 到 0.37 之间,测试集得分分别为 91.3%、88.3% 和 91.2%。(https://notesbylex.com/_media/llm-descent/loss-by-step.png)
虽然我配置了早停机制——当训练损失不再改善时就停止——但三次运行都完整走完了 50 步,在耗尽步数时仍在持续改善,测试集最终得分约 90%。令人惊讶的是,这已经接近使用 Adam 训练 50 个梯度步骤后的水平。
一条 1990 年代的计算机视觉流水线
1998 年,LeCun 引入 MNIST 的那篇论文将那个时代的方法概括为“一个固定的特征提取器加上一个可训练的分类器“,而特征提取器“通常是完全手工构建的“(LeCun et al., 1998)(https://notesbylex.com/weight-space-programming-1990s#lecunGradientbasedLearningApplied1998)。他写道,准确率“在很大程度上取决于设计者能否想出一组合适的特征“,而这是“一项艰巨的任务,不幸的是,每遇到一个新问题就得重新做一遍“。
Claude 接手的正是这项艰巨任务。三次运行构建了相同类型的流水线,尽管使用的部件并不完全一样:
| 技术 | 运行 1 | 运行 2 | 运行 3 |
|---|---|---|---|
| 手绘数字模板 | step 1 | step 1 | step 1 |
| 对数几率(朴素贝叶斯式)评分 | step 1 | step 11 | step 2 |
| 环形或孔洞检测器 | step 3 | step 3 | - |
| 角点或凹陷检测器 | - | step 3 | step 3 |
| 笔画端点检测器 | - | - | step 21 |
| 首次测量步骤 | step 4 | step 4 | step 5 |
| 由测量结果构建的分类器 | step 5 | step 11 | step 13 |
| 测量步骤总数 | 22 | 24 | 27 |
每次运行的网络开始使用该技术的第一个步骤。
让我们根据 Claude 的回复和推理,逐步跟随运行 1。它是三次运行中最好的,得分为 91.3%,但另外两次遵循了类似的路径——通过不断测量,从手绘模板一路走到一个分类器。
一张折线图,展示 Fable 5.2 在运行 1 中编写的每一个网络在 50 步内的测试准确率,用六条彩色带分区:模板(第 1 到 3 步)、测试检测器(第 4 到 9 步)、角点(第 10 到 18 步)、测量笔画(第 19 到 30 步)、根据测量重建(第 31 到 40 步)和校准(第 41 到 50 步)。准确率从 71% 开始,到第 18 步达到 83%,在第 31 步重建分类器时达到 89%,第 50 步达到 91.3%,与 Adam 训练 50 个梯度步骤后的水平持平。底部标记了二十二个测量步骤。(https://notesbylex.com/_media/llm-descent/fable-run-1-story.png)
1. 手绘模板(第 1 到 3 步)
运行 1 中第 1 步的网络,三个面板都用粉色描边,因为三个都发生了变化。conv1:四个线条检测器和四个空滤波器。conv2:四个笔画存在通道、四个帽形通道和八个空通道。fc:一个 10×256 的权重热力图,只在读取笔画通道的列中有值——即手绘模板。(https://notesbylex.com/_media/llm-descent/network-stage-1.png)
Claude 的起步方式像一位 1990 年代的计算机视觉工程师。它的第一层是一组四个角度的线条检测器,用公式写成。它们是 Sobel 滤波器(https://en.wikipedia.org/wiki/Sobel_operator)的近亲——一种经典的图像边缘检测方法,1990 年代的数字识别系统就以此为起点(Favata and Srikantan, 1996)(https://notesbylex.com/weight-space-programming-1990s#favataMultipleFeatureResolution1996)。
每个检测器是第一个卷积层(https://en.wikipedia.org/wiki/Convolutional_layer)中一个 5×5 的权重网格。卷积层的工作方式是:每个滤波器在图像上滑动,将其覆盖的 25 个像素与自己的 25 个权重相乘再求和,因此在其角度方向上有笔画的地方得分就高,在空白纸面上则为零。Fable 用这种方式填充了该层八个滤波器中的四个,另外四个留作零,留待后续使用。
两行八个 5×5 的第一层滤波器,青色为正值,粉色为负值。上方是 Fable 5.2 运行 1 的一行:四个分别在 0、45、90 和 135 度方向的线条检测器,然后是四个角点检测器,每种直角角落各一个。下方是 Adam 的一行:不规则的、混杂的模式。(https://notesbylex.com/_media/llm-descent/filters-written-vs-learned.png)
它的第二层将每个检测器的响应图在图像的各个小块上求和,最终每张图像都变成一个 4×4 的单元格网格,说明每个单元格中出现了哪些笔画方向。
接着,它在代码中用几笔笔画手绘每个数字(https://github.com/lextoumbourou/weight-space-programming-experiments/blob/68d663a/mnist-training/results/fable-a-1/steps/01/submission.py#L60-L108),并将每幅画转换成同样类型的网格:每个单元格中每种笔画方向的可能性有多大。这些表格成为最后一层的权重(https://github.com/lextoumbourou/weight-space-programming-experiments/blob/68d663a/mnist-training/results/fable-a-1/steps/01/submission.py#L169-L186),从而用所有十张表对每张图像进行评分。
最后一层是一个 10×256 的权重网格,每个数字的表格占一行。
这些权重是该表格的对数几率,按温度参数缩放。
对数几率将每个概率转换成可以直接相加的分数,而温度参数将所有分数调低,使网络不过于自信。
Fable 5.2 运行 1 第 1 步中手绘的十个数字,用其自身代码生成的平滑笔画绘制,其中 2 用粉色标出。下方,2 变成四个 4×4 的表格,每种笔画方向一个(水平、/、垂直、\),按该方向在每个单元格中出现的可能性深浅着色。一个真实的手写 2 对“2 表格“得分 46%,对“3 表格“得分 34%,其他所有数字得分都很低。(https://notesbylex.com/_media/llm-descent/hand-drawn-templates.png)
这就是模板匹配(https://en.wikipedia.org/wiki/Template_matching)——字符识别中最古老的方法之一(Mori et al., 1992)(https://notesbylex.com/weight-space-programming-1990s#moriHistoricalReviewOCR1992)。其评分方式类似朴素贝叶斯,将每个特征视为对每个数字的独立证据。用贝叶斯规则读取字符可以追溯到 1957 年(Chow, 1957)(https://notesbylex.com/weight-space-programming-1990s#chowOptimumCharacterRecognition1957)。
它的第一个网络在测试集上得分为 71%。根据混淆矩阵重新绘制被误分类的数字后,得分提升到 77%。
亲自看看:第 1 到 3 步
| 步骤 | 发生了什么 | 文件 |
|---|---|---|
| 1 | 线条检测器和手绘模板,以对数几率评分 | reply · thinking summary · code · results |
| 2 | 重新绘制混淆矩阵指出有误的模板 | reply · thinking summary · code · results |
| 3 | 添加由四个角点滤波器构建的闭环检测器 | reply · thinking summary · code · results |
2. 为环形检测器做单元测试(第 4 到 9 步)
运行 1 中第 5 步的网络,三个面板都用粉色描边。conv1 的空滤波器现在装着四个角点检测器。conv2 的八个空通道现在成了环形检测器。在 fc 热力图中,新的环形列在数字 6、8 和 9 上格外醒目。(https://notesbylex.com/_media/llm-descent/network-stage-2.png)
在第 3 步,它用角点检测器填满了四个空滤波器,并在 conv2 的空通道中将它们组合成一个环形检测器:中间空白、四周被四个角点包围。
一位老派的模型工程师会先研究数字,看看它们的特征在哪些地方出错。我们在这个测试中没有给 Claude 这种能力,但在第 4 步,它尝试了一种有趣的方法:暂停一步分类工作,单独测试一个环形检测器(用于检测闭环的特征,比如 0、6、8 和 9 中的环):
我无法从混淆矩阵中看出来,因为所有东西都混在一起了,所以这一步单独测试检测器,就像单元测试一样。
运行 1 中第 5 步的环形检测器。四个 5×5 的角点滤波器(左上、右上、左下、右下),每个在两条边上有墨迹,还有一个必须为空白的粉色方块。在一个真实的 8 上,四个角点在两个洞的周围——上方和下方——都被激活,因此环形检测器触发。在一个真实的 1 上没有角点,检测器保持沉默。(https://notesbylex.com/_media/llm-descent/loop-detector.png)
它重新接线了输出层,使每个“预测数字“意味着环形检测器触发的强度以及触发位置。混淆矩阵的每一行于是变成了某个真实数字下环形检测器的直方图。一步之后,它就知道检测器在 83% 的 8 上触发了。在第 6 和第 7 步,它用同样的方式测试自己的手绘数字,让每个数字的各个变体两两对决。
运行 1 第 4 步的训练混淆矩阵,列标签被重新命名:无环,然后上半部分四个环强度等级和下半部分四个。箭头指向为每个数字解码出的触发率:8 为 83%,6 为 62%,9 为 53%,2 为 32%,4 为 26%,3 为 25%,5 为 19%,0 为 12%,7 为 7%,1 为 0%。(https://notesbylex.com/_media/llm-descent/probe-trick.png)
某种意义上说,这有点作弊的嫌疑,但话说回来它并没有违反规则。代码既没有运行网络,也没有拟合任何东西,甚至没有看到一张图像。而且,测试集从未被触碰过,所以得分依然是诚实的。
亲自看看:第 4 到 9 步
相似文章
权重空间编程让神经网络像1990年代的研究者一样构建(20分钟阅读)
作者进行了一次权重空间编程(Weight-Space Programming)实验,让 Claude Fable 5.2 手动设置一个 CNN 的全部5,994个权重来对 MNIST 进行分类,整个过程没有任何拟合或搜索。结果发现,生成的网络类似于深度学习出现之前的手工设计技术——这与原始 WSP 文章中由 GPT-6 Astra 构建的围棋网络所呈现的模式一致。
权重空间编程实验(15分钟阅读)
一篇复现式的博客文章,探讨 MIT CSAIL 的《Sparks of Weight-Space Programming》,通过构建一个沙盒化框架,让前沿大模型直接读写神经网络权重,测试其在没有梯度下降的情况下,能否在经典机器学习任务上构建或改进模型。
权重空间编程的火花:LLM 能够原生读写神经网络权重
一篇研究博客文章发现,前沿 LLM 能够原生读写神经网络权重——诊断训练后的策略、编辑权重以修复推理循环并将 Qwen3.5-0.8B 在 MATH-500 上的成绩从 7.9% 提升至 48.1%、以及手工编写小型游戏网络——作者将这一能力称为「权重空间编程」(Weight-Space Programming)。
权重空间编程无需 Transformer
论文表明,当前沿 LLM 在不经梯度训练的情况下直接编写神经网络权重时,它们会自然设计出稀疏表/联想记忆模型,这些模型以最多 1,800 倍更少的参数和最多 17 倍更快的 GPU 推理速度超越同等规模的 Transformer,不过预训练 LLM 仍然更加准确。
WeightBench:评估作为权重空间程序员的语言模型
WeightBench 提出了一项基准测试,在五个赛道上通过 42 项权重空间编程任务(读取、修复和编写神经网络权重)来评估大语言模型。结果表明,GPT-6.1-sol 和 Claude Opus 5.5 等前沿模型能够读取小型网络并编写控制策略,但在修补语言模型或执行无数据压缩方面仍存在困难。