@crazyMLguy:LLM 能否在不运行另一个模型的情况下,理解修改其权重会带来什么影响?一项新实验…

X AI KOLs Timeline 论文

摘要

一篇新论文和名为 Weight-Space Reading(wsr)的开源工具包测试了 LLM 能否在不运行另一个模型的情况下预测修改其权重后的行为变化。结果显示,Qwen 27B 通过直接访问权重达到 73% 的平衡准确率,而仅依靠文本描述只有 57.8%;自我检视则未表现出明显优势。

LLM 能否在完全不运行另一个模型的情况下,理解修改其权重会带来什么影响? 一项名为 Weight-Space Reading 的新实验利用参数量从 9B 到 30B 不等的开源权重模型 Qwen 和 Muse 探索了这一引人入胜的可能性。 一些有趣的发现: 73% 平衡准确率:Qwen 27B 通过直接访问权重来预测细微权重编辑的效果,而仅使用文本描述时准确率为 57.8%。 自我检视仍不确定:模型读取自身权重并未被证明具有明确优势。 误判预测:在 Muse-30B 上,34 次标准编辑和 6 次无效对照操作均未产生可检测的行为变化,但智能体却频繁预测出了变化。 研究人员还发布了一个评估框架、实验代码以及一个用于权重空间编程的开源工具包。 更宏大的问题:LLM 最终能否直接从参数出发,检视、理解并预测神经网络的行为? 这可能为模型可解释性和自动化权重编辑开辟一个全新的方向。 GitHub:https://github.com/suayptalha/wsr 论文:https://alphaxiv.org/abs/2611.weight-space-reading-language-models…
查看原文
查看缓存全文

缓存时间: 2026/11/16 09:15

快速开始 · 工作原理 · wsr 程序 · 论文 · 文档

📄 论文 (alphaXiv) · ⏳ arXiv:等待审核中

相似文章

权重空间编程:一个大语言模型直接编辑了另一个模型的权重,将其数学得分从 7.9% 提升至 48.1%

Reddit r/artificial

麻省理工学院的研究人员展示了一个大语言模型(GPT-6 Astra)能够直接编辑另一个模型的权重,以纠正其重复性行为。在无需训练的情况下,仅修改约 0.016% 的参数,就将一个小型 Qwen 模型的数学得分从 7.9% 提升至 48.1%,但这一结果仍存在一些局限,且尚待独立复现。

权重空间编程的火花:LLM 能够原生读写神经网络权重

Reddit r/singularity

一篇研究博客文章发现,前沿 LLM 能够原生读写神经网络权重——诊断训练后的策略、编辑权重以修复推理循环并将 Qwen3.5-0.8B 在 MATH-500 上的成绩从 7.9% 提升至 48.1%、以及手工编写小型游戏网络——作者将这一能力称为「权重空间编程」(Weight-Space Programming)。

WeightBench:评估作为权重空间程序员的语言模型

Hugging Face Daily Papers

WeightBench 提出了一项基准测试,在五个赛道上通过 42 项权重空间编程任务(读取、修复和编写神经网络权重)来评估大语言模型。结果表明,GPT-6.1-sol 和 Claude Opus 5.5 等前沿模型能够读取小型网络并编写控制策略,但在修补语言模型或执行无数据压缩方面仍存在困难。