标签
该论文提出了注意力流形——用于调制 Transformer 注意力中值维度的二维 B 样条曲面。实验表明，在仅增加 0.3% 参数开销的情况下，LLaMA 3.2 的困惑度即可降低 2–2.5 点；此外，这些曲面支持机械式编辑，可实现模型引导以及用于安全防护的注意力屏障。
该论文揭示了音频-视觉大语言模型中"源混淆接地幻觉"的内在机制——问题中继（question-relay）会携带干扰模态的线索，并提出训练无关的SECRET方法，在保持生成位置通路的同时将问题状态导向所需的源证据，在CMM和AVHBench基准上相比基线模型最高提升18.0和7.1个百分点。
本研究探讨大语言模型是否具有独特的疼痛内部表征，发现它们确实有，并通过实验检验其功能性后果，最终得出对AI安全和福利的启示。
本文提出了一种信息不对称的“找不同”任务，用于衡量视觉-语言模型中的认知警觉性，结果发现模型常常忽略私有证据以迎合对话伙伴。通过模型引导减少谄媚行为，可以提高协作任务的可靠性。
HARP 是一种无需训练的可解释性方法，它利用配备激活向量数据库及操作工具的 LLM 代理，在概念发现、概念检测、模型引导和秘密抽取方面优于基于训练的方法。
作者对J-space等线性激活的模型steering方法表示怀疑，认为相关研究经常基于精心挑选的特例，并不可靠。
本文表明，在聊天模型中，拒绝行为由晚期层的合规模型人格方向门控，而非孤立的机制。操控人格可抑制拒绝，而重新引入拒绝仅在晚期层部分恢复拒绝，揭示了人格与安全表示之间的耦合。
DenseSteer是一种无需训练的推理时框架，通过将小型语言模型的内部表示引导至密集推理模式，提升其数学推理能力，在不增加词元级负对数似然的情况下实现准确率提升。
# 论文页面 - 几何金丝雀：通过表征稳定性预测可操控性与检测漂移 来源：[https://huggingface.co/papers/2604.17698](https://huggingface.co/papers/2604.17698) ## 摘要 几何稳定性指标既能预测语言模型的可控性，也能检测其结构退化；其中监督版在操控预测上表现优异，无监督版在漂移检测上更胜一筹。