contrastive-neuron-attribution

NousResearch 发布了对比神经元归因（CNA），该方法通过消融稀疏的 MLP 电路来引导 LLM 行为，无需训练稀疏自编码器或降低基准测试性能，并在多达 70B 参数的模型的拒绝电路上验证了有效性。

对比神经元归因（CNA）识别出一组稀疏的MLP神经元，这些神经元能够区分有害提示和良性提示，从而在指令微调的大语言模型中实现有效的行为引导，同时不会降低输出质量。该方法在越狱基准测试上将拒绝率降低了50%以上，同时保持了流畅性。