标签
一篇研究博客文章发现，前沿 LLM 能够原生读写神经网络权重——诊断训练后的策略、编辑权重以修复推理循环并将 Qwen3.5-0.8B 在 MATH-500 上的成绩从 7.9% 提升至 48.1%、以及手工编写小型游戏网络——作者将这一能力称为「权重空间编程」（Weight-Space Programming）。
研究提出「Weight-Space Programming」：让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重，在不使用梯度或训练的情况下仅修改 0.016% 权重，修复推理循环并将数学能力提升至 6 倍、指令遵循提升 3 倍。
本文审查了在工具使用任务中对 Qwen3.5-27B 进行的残差激活干预，发现此类修改虽然提高了目标选择的准确率，但这些增益无法泛化到重新组合的事实，也未能提升完整动作的正确性，从而揭示了目标选择控制与条件敏感推理之间的区别。
SafetyEdit 提出通过优化单个与拒绝相关的 MLP 稀疏坐标并结合早期注意力层的 KV-cache 标记，在开放权重 LLM 中植入可通过触发器激活的越狱后门，同时保持未触发行为基本不变，在多项基准上优于现有模型编辑后门方法。
论文提出 Cortex 方法，通过生成前瞻性查询并将上下文条件化输出蒸馏为可合并的低秩或结构化前馈网络更新，实现将上下文增益固化到参数记忆中，在保留 99.8% 原有非目标任务性能的同时恢复 88.9% 的上下文增益。
研究表明，从LLM隐藏状态中提取的一小组内部坐标可以预测未来状态并实现有针对性的编辑，与基线相比，预测误差降低了69-76%。
Imprint Reader 是一个经过训练的模型，用于描述语言模型中的冻结权重更新，从而实现行为干预以提升安全性和推理能力。它使用 SMaRT 进行训练，MetaEdit 进行干预，展示了自然语言解读的可行性。
BiasReducer 是一个轻量级框架，仅编辑奖励模型的线性奖励头，自适应地缓解模型对响应长度和自信度等表面属性的偏好。该框架采用类稀疏自编码器的编码器，按数据集检测并排序相关偏差。在五个奖励模型上，它平均将三项基准指标提升 8.3、18.0 和 6.9 个百分点，优于基于训练的基线方法，并降低了下游的冗长性和谄媚问题。
本文分析了在模型训练中，如何通过局部化人工校正中的编辑来放大相对选择偏差，并提供了来自机器翻译实验的理论见解和实证证据。
DOW-KE 介绍了一种无锚点方法，用于大型语言模型中的知识编辑，通过直接优化跨层的权重更新，在序列编辑任务中实现了更高的性能。
Roomer是一个反思式修复框架，用于识别和修复3D室内布局中的局部违规，它使用视觉语言模型规划器和确定性求解器，并引入了新的基准Roomer-CC和Roomer-Eval。
介绍V-Steer，一种无需训练的推理时方法，通过编辑缓存的值向量恢复语言模型中的指令层次，在受控基准上将主要约束准确率从低于18%提升至92%，且开销可忽略。
Anthropic 发表了关于 GRAM 的研究，该技术旨在从 AI 模型的权重层面精确移除危险知识，从而推动 AI 安全的发展。
本文介绍了 Process Sidecars，一种用于在安全训练后从语言模型中撤销学习状态的双系数编辑族，实现了二阶精度，并在多个模型的实验中优于朴素任务算术。
BrainSurgery 是一个用于对神经网络检查点进行可重现且声明式权重操作的工具，通过内置验证的 YAML 计划实现模型编辑与升级。
NVIDIA 推出 Gated DeltaNet-2，一种在不导致灾难性遗忘的前提下编辑模型压缩记忆的方法，使用独立的门控机制分别执行擦除和写入操作。该方法在语言建模和长上下文任务上优于 Mamba-2、Mamba-3 等现有模型。
提出M-ORE，一种模态解耦的在线递归编辑器，用于多模态大语言模型的终身适应，解决跨模态冲突和编辑间干扰，且每次编辑开销恒定。
本文介绍了HoReN，这是一种参数保留的模型编辑方法，使用归一化Hopfield检索来处理对大型语言模型的大规模序列更新。它解决了知识积累和路由挑战的问题，在50,000次序列编辑上展示了稳定的性能，而先前的方法在这种情况下性能会退化。