标签
本文对CosyVoice3文本转语音语言模型应用稀疏自编码器，发现可解释的特征，这些特征可被引导以控制笑声、说话者性别和语速等属性，同时保留内容。
本文提出了一个统一的几何框架，用于理解稀疏自编码器中的概念学习和神经元解释，将概念形式化为集合，并定义了检测、分离和近似。它提供了误差界、容量约束，并与形式概念分析建立了联系，同时在合成数据上进行了实验。
本文利用塞尔维亚双文制作为受控测试平台，探究稀疏自编码器特征的自动生成标签是否跨语言和文字泛化。研究发现，尽管特征集在不同语言间存在显著重叠，但标签通常未能追踪非英语输入中的同一概念，尤其是在代表性较弱的文字中。
研究人员使用经过重构训练的稀疏自编码器，从冻结的密集检索器中提取出可索引且适用于BM25的稀疏特征。
本文提出了一种使用无监督稀疏自编码器和自然倒排索引的单阶段稀疏编码方法，以加速多向量检索，其效果优于传统的基于k-means的方法。
该论文提出 Latent Terms 方法，使用稀疏自编码器从冻结的密集检索器中提取BM25就绪的稀疏特征，无需检索特定训练即可实现有竞争力的性能。
本文展示稀疏自编码器能够从生产级语言模型Claude 3 Sonnet中提取可解释特征，解决了字典学习方法在扩展性方面的担忧。这些特征具有多语言、多模态特性，并涵盖欺骗、谄媚等安全相关概念，且对模型输出具有因果影响。
本文引入读出-中介角度，证明线性探针可以从语言模型激活中解码出与模型实际因果计算正交的信息，从而削弱了基于探针的可解释性。该发现跨模型规模和系列得到复现，揭示出使用探针进行机制理解或安全监控的一个根本性失败模式。
本文使用稀疏自编码器分析了语言模型中LoRA诱导表征的几何结构，发现LoRA更新占据的部分特征结构无法完全被预训练的可解释性词典捕获。
本文研究了Platonic Representation Hypothesis，提出对齐源于表示中的线性结构，并引入了一个包含信号、偏置和噪声的统计框架。
MechELK 是一个三阶段框架，结合机制可解释性工具（SAE、激活修补、因果探测）与表示工程，从大型语言模型中引出潜在知识，实现了84.7%的准确率，优于CCS和线性探测等现有方法。
本文提出了一种表征动力学的分岔理论，用于检测神经网络在训练过程中何时获得结构化表征。该理论利用对GMM探针的黑塞矩阵分析，得到的比值β/β_c作为一种无标签的相位坐标，能够预测可用结构的出现，并在训练早期预判稀疏自编码器中的特征可解释性。
本文介绍了Prototype-Based Sparse Steering方法，该方法将稀疏自编码器应用于大语言模型的注意力查询激活，然后在推理过程中使用梯度优化来引导生成朝向目标行为。该方法在一个逻辑规划任务和一个风格化教育领域中得到了验证，展示了可解释且解耦的控制能力。
本文介绍了一种基于原则的多语言语言调控方法，该方法使用在多语言数据上训练的稀疏自编码器（SAEs）以及一种基于多语言对齐与语言可分性交集的新型层选择规则，并在LLaMA-3.1-8B和Gemma-2-9B上针对机器翻译和跨语言摘要进行了评估。
本文使用稀疏自编码器将大语言模型分解为可解释的特征，并表明语义特征能够解释大脑与皮层语义拓扑的对齐，且该结论在英语、中文和法语中均具有泛化性。
本文提出了一种以功能为中心的框架，利用转码器追踪视觉语言模型中的计算路径，展示了更强的视觉定位归因能力，并通过基于图的特征预测幻觉现象。
本文提出了一种用于Transformer语言模型中因果特征分析的五阶段方法论，并在GPT-2 small上针对IOI任务进行了演示。研究发现特征具有特定的因果性但并非必要，并揭示了检测鲁棒性与因果鲁棒性之间的差距。
本文探讨了稀疏自动编码器（SAEs）如何捕捉弯曲的神经几何，揭示了SAE特征表示流形的三种不同方式，并提出了一个无监督流程来揭示神经表征中的几何结构。
本文通过稀疏自编码器刻画了指令调优大语言模型中的构成性文学原语，发现了自我、风格与情感的特征类别，这些特征能够在两种架构间实现情感引导。
本文介绍了一种基于稀疏自编码器（Sparse Autoencoders）的诊断框架，用于分析持续学习中的概念级遗忘，发现大部分遗忘源于表示不可访问性而非信息擦除。