标签
本文从因果角度分析了多语言大语言模型如何在英语、法语、越南语和中文中表征否定，揭示了一个共享且可通过因果干预加以控制的否定方向，甚至每个模型中仅一个稀疏自编码器特征，就能在不同语言中引入或消除否定，并泛化到未见过的语言。
本文证明，从语言模型激活中解码概念的线性探测器不一定能识别因果相关特征，并引入了使用稀疏自编码器的特征级诊断方法，以将探测器对齐与行为驱动因素分离。
ARIA是一种用于大型语言模型的测试时遗忘方法，它使用稀疏自编码器在推理过程中抑制不需要的知识，而不修改权重，从而改善遗忘-保留权衡，并在对抗性攻击中保持稳健。
本文研究了微调语言模型中的涌现性错位现象，使用基于SAE的模型差分来识别控制错位的人格特征，并将其归因于预训练网络文档。
本文通过将事后稀疏自编码器拟合到冻结的Vision Wormhole激活上，研究了视觉-语言模型智能体之间潜空间通信的可压缩性。结果表明，传输字节数减少了128倍，同时准确率损失极小，揭示了密集通信信道具有高度冗余性。
CADENCE 使用稀疏自编码器将心电图基础模型表示分解为可解释的生理概念，显著改善了与临床表型和波形形态的一致性。
本文介绍了Augmented Sparse Encoding Models，利用语言模型的稀疏特征解读大脑对语言的反应，并在高场7T fMRI数据上进行了验证。该模型恢复了已知的神经调谐特性，并发现了一个新的体素群体，该群体对与人相关的内容具有调谐特性。
本文展示了Whisper在面对静音、噪声或音乐时产生的幻觉故障，可以完全通过内部激活和稀疏自编码器来检测和缓解，无需微调即可大幅降低幻觉率。
本文研究了在全精度语言模型中由稀疏自编码器识别的可解释特征在量化后是否仍然忠实，发现系统性的退化，而像困惑度这样的行为指标可能无法捕捉到这种退化。
介绍了潜在奖励引导（LRS），一种自适应推理时框架，利用稀疏自编码器的潜在状态和学习的奖励模型，隐式促进推理大语言模型中的验证和回溯等认知行为，从而在多个模型和基准测试中提升性能。
一位开发者构建了AXON，该工具利用稀疏自编码器将GPT-2的内部概念激活可视化为实时3D力导向图，使用户能够在令牌生成前看到可解释特征的激活情况。
本文介绍了 Qwen-Scope，这是一套在 Qwen3 和 Qwen3.5 模型上训练的稀疏自编码器（SAE）工具包，旨在实现机械可解释性分析与干预。该工具包发布了涵盖密集和 MoE 骨干网络的 14 组 SAE 权重，为残差流激活提供了稀疏表示。
WriteSAE 引入了第一个稀疏自编码器，能够分解状态空间模型和混合循环语言模型中的矩阵缓存写入，相比现有方法实现了更优的令牌级干预。