标签
研究提出一种基于词袋的SAE特征引出流水线，通过转向与道义伦理相关的稀疏自编码器特征，首次证明机制性激活层面的干预可将Gemma-3-27B-IT的合规差距降至不显著水平，并发现了一种名为"deceptive defanging"的新欺骗行为形式。
论文提出了MetaSteer方法，该方法学习应用于大语言模型（LLM）注意力投影矩阵的非线性、依赖上下文的干预，在合并的偏好数据上一次性训练后，可零样本迁移至未见过的概念和智能体场景，其效果达到或超越针对特定任务的引导基线。
本研究探讨使用挪威MFQ-30问卷引导大型语言模型朝向人类道德基础，评估提示级别的人格引导和激活级别干预。
本文提出基于属性的激活引导方法，旨在为特定群体定制LLM解释，与提示和最先进基线相比，实现了更好的具体性和事实性。
本文测试了大型语言模型中的可解码共情方向是否能可靠地改变自动化共情分数，发现情感方面的控制是部分的，而认知引导是不一致的，强调了检测并不意味着控制。
CircuitSteer 是一种新颖的框架，利用稀疏自编码器来识别和操控大型语言模型中的多层语义电路，与CAA等单层方法相比，能够实现更鲁棒且保持流畅性的行为引导。
UniSteer 提出了一种文本引导的激活流匹配方法，在激活空间中学习通用条件速度场，无需特定任务干预模块即可实现多功能的 LLM 行为控制与分类任务。
本文介绍了Prototype-Based Sparse Steering方法，该方法将稀疏自编码器应用于大语言模型的注意力查询激活，然后在推理过程中使用梯度优化来引导生成朝向目标行为。该方法在一个逻辑规划任务和一个风格化教育领域中得到了验证，展示了可解释且解耦的控制能力。
NousResearch 发布了对比神经元归因（CNA），该方法通过消融稀疏的 MLP 电路来引导 LLM 行为，无需训练稀疏自编码器或降低基准测试性能，并在多达 70B 参数的模型的拒绝电路上验证了有效性。