标签
本文介绍了一种基于稀疏自编码器（Sparse Autoencoders）的诊断框架，用于分析持续学习中的概念级遗忘，发现大部分遗忘源于表示不可访问性而非信息擦除。
本文研究了大型语言模型奖励模型中的偏好不稳定性，即微小的输入变化会导致矛盾的偏好分配。作者提出了两种基于SAE的缓解策略——SAE特征引导和SAE残差校正——在不重新训练的情况下减少错误的偏好分配。
本文对三个脑电图基础模型（SleepFM、REVE、LaBraM）应用TopK稀疏自编码器，提取可解释的特征字典，并引入了概念引导框架，揭示了表征失败和临床纠缠问题。
SAE-FT提出了一种新颖的CLIP模型微调方法，利用稀疏自编码器约束来正则化视觉表示，在保持性能的同时提高对分布变化的鲁棒性，并实现可解释性。
本文介绍了一个框架，通过稀疏自编码器学习正交潜在空间，实现对大型语言模型中词元级影响的归因，从而精确识别共同影响预测的训练数据词元，适用于医疗等高风险领域。
本文介绍了一种新颖的自适应调度器，用于利用稀疏自编码器引导离散扩散语言模型，结果表明，基于特定属性提交时机进行针对性干预，比均匀方法能提升控制质量和强度。
本预印本介绍了一种将情感向量注入语言模型以模拟躯体标记的方法，旨在弥合语义记忆与情景记忆之间的差距。作者证明，将情感回音与语义知识相结合可以提升决策能力，从而复现了人类认知科学中的相关发现。
本文介绍了潜在空间优化可视化（LVO），这是一种机械可解释性技术，利用稀疏自编码器来可视化 Stable Diffusion 1.5 等扩散模型中的单义特征。
本研究调查了大语言模型（LLMs）与人类在理解抽象概念时的“接地”（grounding）差异，发现存在显著的“接地鸿沟”：模型过度依赖词语联想，而较少涉及情感或内在状态。作者利用稀疏自编码器（SAEs）识别出与接地维度相关的内部特征，表明LLM虽然具备这些信息，但在自由生成文本时并未像人类一样自然地调用它们。
本研究论文在大语言模型中引入了稀疏自编码器表示中的“特征竞争”概念，将其作为不确定性的机制性特征。利用 Gemma-2-2B 模型，研究表明，负相关的特征对将不确定性定位到特定层级，并对模型输出产生因果影响。
本文介绍了一种基于稀疏自编码器（SAE）和线性探针的机制可解释性工具包，用于在智能体调用工具之前监控模型内部状态，旨在提高企业工作流中的诊断能力和安全性。
本文对比了 Crosscoders 和差分稀疏自编码器（Diff-SAE）在检测微调大型语言模型后门方面的表现，发现 Diff-SAE 通过隔离方向性激活偏移，其性能显著优于 Crosscoders。
一位本科生研究员对Anthropic最近的机械可解释性研究表达了幻灭感，具体批评其新的自然语言自编码器方法是一种黑箱技术，且缺乏与稀疏自编码器基线之间的严格指标比较。
本文将稀疏自编码器中的特征饥饿识别为一种几何不稳定性，并提出自适应弹性网络 SAE（AEN-SAE）来在不依赖启发式方法的情况下缓解该问题。
本文提出了一个几何框架来分析稀疏自编码器中特征组合的不稳定性，揭示了非线性导致棘轮效应，从而在超过临界密度时引发组合坍塌。
SLAM 是一种新颖的白盒水印方案，利用稀疏自编码器将标记嵌入 LLM 残差流的结构几何中，在 Gemma-2 模型上实现了 100% 的检测准确率，且质量损失极小，避免了先前方法对 token 分布的偏置。
北京航空航天大学等机构的研究人员提出了HalluSAE，这是一个结合稀疏自编码器与相变理论的框架。该框架通过将生成过程建模为穿越势能地形的轨迹，来检测大型语言模型（LLM）中的幻觉，并精准定位发生事实性错误的关键过渡区域。
# 理解与防止失调泛化 来源：[https://openai.com/index/emergent-misalignment/](https://openai.com/index/emergent-misalignment/) 一个失调的人格特征控制着浮现的失调。像ChatGPT这样的大型语言模型不仅学习事实——它们还会捕捉行为模式。这意味着它们可以根据训练内容开始表现得像不同的“人格”或类型的人。其中一些人格是有益且
OpenAI 推出稀疏自编码器作为从 GPT-4 等大型语言模型中提取和解释概念的方法，解决了理解神经网络行为这一根本挑战。他们发布了研究论文、代码和特征可视化工具，帮助研究人员大规模训练自编码器，并通过更好的可解释性提高 AI 安全性。