标签
提出输出向量编辑，一种约束优化的权重编辑方法，通过修改MLP神经元的输出向量而不是将激活归零来缓解LLM中的记忆化，实现了高达87.9%的抑制效果，且局部性失败极少。
本文研究了通过编辑单个神经元能否修复Gemma 4模型在长序列事实列举任务中的重复循环问题。研究发现，对少量MLP神经元进行有针对性的权重编辑可以显著减少循环故障，但无法完全消除较大模型中的末日循环（doom looping）。
对比神经元归因（CNA）识别出一组稀疏的MLP神经元，这些神经元能够区分有害提示和良性提示，从而在指令微调的大语言模型中实现有效的行为引导，同时不会降低输出质量。该方法在越狱基准测试上将拒绝率降低了50%以上，同时保持了流畅性。