标签
一项实验利用可解释性视角分析 Qwen3.5-0.8B 为何会卡住并反复说「Wait」，发现在接近停止点的位置，与怀疑相关的特征占据主导；随后通过一次极小的权重编辑（仅涉及 0.016% 的权重），将「Wrong/Nope/Hmm」转化为「Verification/Completion/Result」，使 MATH-500 表现大幅提升；代码与数据已公开。
一条推文批评了关于「权重空间编程」（Weight-Space Programming）的爆红说法——该说法称 GPT-6 Astra 编辑了 Qwen3.5-0.8B 的权重以提升数学性能，指出其结果缺乏可靠的基线对比，而 Qwen 的结果只是修 bug，绝非 RSI 形态；同时承认，模型在玩具问题上读写权重确实是一个值得关注的真实趋势。
Neel Nanda 对一篇论文发表评论：论文中 GPT-6 Astra 编辑 Qwen3.5-0.8B 的权重以提升数学能力，他认为这一结果表明大语言模型在经典机制性可解释性技术方面出人意料地强大，而非有什么根本性的新突破。
一篇介绍「权重空间编程（Weight-Space Programming）」的博客文章：前沿 LLM GPT-6 Astra 能够原生读取并编辑神经网络权重——仅修改 Qwen3.5-0.8B 的 0.016% 权重，就将 MATH-500 从 7.9% 提升至 48.1%，IFEval 提升三倍，全程无需梯度或训练。
该论文提出一种训练无关的权重编辑方法，通过少量对比提示对直接修改模型权重，降低指令微调模型对有害指令（如说谎、性别歧视）的服从率，并在五个模型上验证了其优于激活引导等方法的鲁棒性。
诱骗方向优化 (DDO) 是一种快速、后置的防御方法，通过向网络注入诱骗信号，保护开放权重的LLM免受拒绝特征消融攻击，在比训练防御更低的成本下实现高鲁棒性。
本文介绍了AMRA，一种权重编辑方法，通过模糊拒绝信号来缓解大型语言模型中的Abliteration，在Llama-3-8B和Gemma-2-9B上提升消融后的拒绝分数，同时最小化效用下降。