@crazyMLguy:LLM 能否在不运行另一个模型的情况下,理解修改其权重会带来什么影响?一项新实验…
摘要
一篇新论文和名为 Weight-Space Reading(wsr)的开源工具包测试了 LLM 能否在不运行另一个模型的情况下预测修改其权重后的行为变化。结果显示,Qwen 27B 通过直接访问权重达到 73% 的平衡准确率,而仅依靠文本描述只有 57.8%;自我检视则未表现出明显优势。
查看缓存全文
缓存时间: 2026/11/16 09:15
快速开始 · 工作原理 · wsr 程序 · 论文 · 文档
📄 论文 (alphaXiv) · ⏳ arXiv:等待审核中
相似文章
权重空间编程:一个大语言模型直接编辑了另一个模型的权重,将其数学得分从 7.9% 提升至 48.1%
麻省理工学院的研究人员展示了一个大语言模型(GPT-6 Astra)能够直接编辑另一个模型的权重,以纠正其重复性行为。在无需训练的情况下,仅修改约 0.016% 的参数,就将一个小型 Qwen 模型的数学得分从 7.9% 提升至 48.1%,但这一结果仍存在一些局限,且尚待独立复现。
权重空间编程的火花:LLM 能够原生读写神经网络权重
一篇研究博客文章发现,前沿 LLM 能够原生读写神经网络权重——诊断训练后的策略、编辑权重以修复推理循环并将 Qwen3.5-0.8B 在 MATH-500 上的成绩从 7.9% 提升至 48.1%、以及手工编写小型游戏网络——作者将这一能力称为「权重空间编程」(Weight-Space Programming)。
WeightBench:评估作为权重空间程序员的语言模型
WeightBench 提出了一项基准测试,在五个赛道上通过 42 项权重空间编程任务(读取、修复和编写神经网络权重)来评估大语言模型。结果表明,GPT-6.1-sol 和 Claude Opus 5.5 等前沿模型能够读取小型网络并编写控制策略,但在修补语言模型或执行无数据压缩方面仍存在困难。
开源权重LLM在准确性上已迎头赶上(21分钟阅读)
一个新的基准ClinReg在真实的监管和临床试验任务上评估LLM,发现开源权重模型现在在准确性上与闭源模型相当,而成本仅为其一小部分。
LLMs 在读写神经网络权重方面并非超人(4 分钟阅读)
Sean Goedecke 认为,近期一篇论文声称前沿 LLM 能够读取和编辑神经网络权重,但其表现并非如宣称的那般超人,因为一位聪明的 ML 研究员就能通过基础分析复现这些任务。