标签
该论文研究了词性类别在Sparse AutoEncoder潜在空间中的编码方式，发现它们是分布式的，并不与单个潜在变量一一对应。
MonoTM是一个可解释的主题建模框架，通过稀疏自编码器将混合估计与特征解释解耦，从而提供超越传统基于单词表示的语义有意义的主题。
本文指出，针对基于SAE的LLM转向的统计top-k特征选择并非最优，并提出了邻居集成特征选择（NIFS）以通过利用表示相似性来提升性能。
本文介绍了奖励信息稀疏自编码器 (RI-SAEs)，利用强化学习奖励来提升可解释性，但发现好坏推理的区分主要由解决方案完整性驱动，而非推理质量。
本研究探讨多语言大型语言模型是否为跨语言数学推理发展出共享的内部表示，引入了一种新颖的几何不变稀疏自编码器（GI-SAE）方法。研究发现，跨语言特征共享依赖于模型，且几何相似性并不一致意味着功能可互换性。
Prof-K is a probabilistic one-pass filtering algorithm for fast, scalable top-k selection with correctness guarantees, achieving 1.5x–10x speedups over PyTorch topk and RadiK, especially in large-scale small-k regimes.
本文报告了对Gemma 3 4B IT的激活研究，表明该模型的内部表征能够区分必然性虚假（不可能）与偶然性虚假，其中不可能方向与真实方向正交，并与语义异常方向重叠。
本文介绍了特征非局域性（FNL），一种基于熵的度量指标，用于衡量大型语言模型中SAE特征的语义抽象度，并展示了其在审计越狱缓解特征和通过引导提高MATH-500准确率方面的应用。
本文使用Top-K稀疏自编码器分析DeepSeek-R1-Distill-Qwen-7B的内部推理，对比思考（CoT）与非思考模式，发现不同的特征激活模式，并通过因果干预实验加以验证。
本文使用稀疏自编码器分解语言模型如何表征默认助手、角色扮演人格与故事角色，发现人格保留助手的核心特征，同时在层间逐步分化，而故事角色则缺乏该核心。
本文提出通过按列分块的SVD直接从线性权重位点提取机制挂载，为机械可解释性提供了一种替代稀疏自编码器等代理字典的方法。在Gemma-2-2B上评估，该方法通过了全部182项位点-层检查。
MMDiff利用多模态稀疏自编码器来隔离、检测和控制多模态语言模型中的特征，提升可解释性并针对视觉和安全行为进行定向引导。
CircuitSteer 是一种新颖的框架，利用稀疏自编码器来识别和操控大型语言模型中的多层语义电路，与CAA等单层方法相比，能够实现更鲁棒且保持流畅性的行为引导。
一项系统性实证研究显示，当规模足够（≥1.7B参数）时，从一种语言模型中提取的概念方向可以引导其他独立训练的模型，为柏拉图式表征假说提供了功能上的证据，并突显了跨模型可解释性工具的规模阈值。
ECG-InterpBench 是一个新基准，利用匹配尺度稀疏自编码器系统评估 ECG 基础模型表示的可解释性，涵盖重建保真度、临床概念可访问性以及跨 450 个单元的可重复性。
本文将Funder的人格三元框架适配到大语言模型（LLM），利用稀疏自编码器发现并验证类似特质的内部表征，并通过特征层面的干预展示可控的双向行为偏移。
介绍了ParityTransformer，这是一种GPT-2规模的架构，具有深度奇偶瓶颈层，使中间表示在设计上即可解释，在无需传统宽瓶颈内存成本的情况下高效强制稀疏性，并在稀疏探测任务上展示了具有竞争力的性能。
本文研究了单令牌稀疏自编码器特征对于模型输出是否具有因果必要性，发现因果角色因SAE家族而异，并且对训练方法（而非激活函数或规模）敏感。
本文系统研究了谎言类型、表示深度、探针表达能力和稀疏特征如何影响LLM中的欺骗检测，发现检测性能高度依赖于训练数据和表示选择。