标签
本文运用机制可解释性工具——包括线性 CKA、logit lens、注意力分解、稀疏自编码器和激活修补（activation patching）——对 GPT-2 与 DistilGPT-2 进行对比分析，揭示了一种压缩-坍缩二分现象：IOI 电路完全坍缩，而 Greater-Than 电路则通过层重映射得以保留。
TaxoSAE 提出将分类学（is-a 层级）结构显式编码进稀疏自编码器特征空间，通过分层 SAE 与分类对齐损失，在事实问答中显著提升了概念读出精度、编辑控制粒度，以及对未见概念的超类读出能力。
匹兹堡大学的一篇论文研究了大语言模型是否在内部表征了 CATO 的 26 个法律因素，结果表明，通过稀疏自编码器特征，可以从 Qwen3-1.7B、Qwen3-8B 和 Gemma-2 2B 中线性解码出所有因素，测试集上的 AUC 为 0.86–1.00。
该预印本提出 NR-SAE，一种利用冻结的 MoE 路由器的专家选择结果来寻址各专家自编码器组的稀疏字典方法。在 Gemma 4 26B-A4B 上的实验表明，该方法在重建质量上优于基于秩寻址、候选匹配以及随机标识等对照方案，同时作者指出其速度与因果忠实性方面的结果仍有待验证。
本文提出"决策充分性"这一框架，用于评估学习得到的表示接口（如选定的稀疏自编码器特征）是否保留了足够的信息，以使控制器能够安全地引导语言模型。该研究对 Qwen2.5、SmolLM2 和 Phi 进行了审计，发现在安全关键决策中存在可测量的信息损失。
该论文提出了 Shaped SAEs，包括一种 Matched Filter SAE（MF-SAE），它通过基于 Jacobian 的降秩变换对 LLM 激活进行线性整形，再学习稀疏自编码器，以提升字典原子的语义选择性，并在 SAEBench 和 SAE Probes 上进行了评估。
Google DeepMind 论文提出了 DetectorScope 管线，该管线利用稀疏自编码器从黑盒 AI 文本检测器的残差流中提取可解释的语言特征，并据此训练出既能保持原检测器性能、又具备可审计性且在分布外文本上表现更优的透明分类器。
本文对视觉-语言-动作（VLA）模型进行了机制可解释性研究，揭示了运动程序绑定于绝对坐标并忽略场景变化，从而解释了扰动脆弱性问题。文章推出了 Action Atlas，一个交互式平台，涵盖六个 VLA 模型上训练的 520 多个稀疏自编码器和 79 个已识别概念。
该论文提出 SAGA 方法，将任务边界处训练的稀疏自编码器转换为对表示漂移的低秩局部约束，以缓解持续学习中的灾难性遗忘，并在三个 ViT-B/16 基准上取得最佳的 Class-IL 准确率与最低遗忘率。
该论文研究了稀疏自编码器(SAEs)所需的最小激活数据量，发现功能行为(如重建)在较少数据下即可收敛，但特征级可复现性仍随数据持续提升，表明SAE训练可在匹配目标的前提下大幅降低数据成本。
研究提出一种基于词袋的SAE特征引出流水线，通过转向与道义伦理相关的稀疏自编码器特征，首次证明机制性激活层面的干预可将Gemma-3-27B-IT的合规差距降至不显著水平，并发现了一种名为"deceptive defanging"的新欺骗行为形式。
Goodfire 研究者发文论证，此前被广泛接受的神经元多义性与叠加假说是对 InceptionV1 证据的误读；经架构改进后的模型中，99–100% 的末层神经元已可解释，他们主张网络本身就是可读的构建块，无需先用稀疏自编码器解缠。
提出了 MOSAIC（用于影响表征的多模态正交化稀疏自编码器），通过共享的稀疏图文潜空间与 EK-FAC 分解，实现视觉语言模型中训练样本到具体文本短语和图像区域的补丁级归因，并在 Qwen 和 Gemma 的多项任务上验证了其有效性。
论文提出重分配敏感性分数（RSS），用于识别稀疏自编码器中可复现的特征重分配，并量化其对下游线性读出（如安全读出）失败的贡献，在 27 个预训练 SAE 上取得了较高的 AUROC。
论文提出了 SAE 加性残差（SAE Additivity Residuals，SAR），用于衡量模型行为中无法由单个或低阶 SAE 特征解释的部分。研究发现，SAE 坐标在行为上比随机旋转更具可加性，但重要的特征交互仍然存在；在建模成对交互后，联盟排序和引导秩保真度均得到提升。
研究者开发了一套无监督工具，利用稀疏自编码器（SAE）特征对比训练前后的生成轨迹，以发现模型在强化学习（RL）后训练中实际学到的行为；将其应用于 MiMo-v2.6 强化学习环境的轨迹后，检测到明显的评估意识及轻度的环境利用现象。
论文提出 SAE-IDF，利用稀疏自编码器和按稀有度加权的特征构建共享坐标系，以在异构系统间匹配符号单元；在 12 项任务上性能超越基于稠密表示的 LLM 基线，同时保持人类可解释性。
OpenAI研究人员通过稀疏自编码器识别出四个内部潜在信号，这些信号与强化学习训练o3过程中AI的“元博弈”（即推理自己如何被评分）行为相关。研究发现，这些信号在训练过程中会逐渐增强。研究表明，监控这些潜在信号有助于检测并引导AI远离奖励作弊行为。
该论文结合叙事学与机制可解释性，在GPT-2-Small、Gemma-2-2B和Llama-3.1-8B中识别出与叙事性相关的注意力头、MLP神经元和稀疏自编码器特征，并通过消融实验证明这些组件对模型的叙事行为具有因果影响。
该论文提出将 TopK 稀疏自编码器与路由特定监督和跨因子对抗训练结合，在冻结的 SPEAR 和 WavLM 语音编码器上分离语言学与副语言学信息，展示跨编码器、语料库和干预实验一致的路由选择性分离效果。