标签
该论文结合叙事学与机制可解释性,在GPT-2-Small、Gemma-2-2B和Llama-3.1-8B中识别出与叙事性相关的注意力头、MLP神经元和稀疏自编码器特征,并通过消融实验证明这些组件对模型的叙事行为具有因果影响。
该论文提出将 TopK 稀疏自编码器与路由特定监督和跨因子对抗训练结合,在冻结的 SPEAR 和 WavLM 语音编码器上分离语言学与副语言学信息,展示跨编码器、语料库和干预实验一致的路由选择性分离效果。
本文为 LLM 可解释性提出了一套「经验契约」,通过在自然输入值上进行干预测试(特征的互换安装/移除以及下游补救实验),区分内部特征的关联性、可控性、充分性与实际使用性,表明仅凭引导行为并不能证明模型在机制上使用了该特征。
本文识别了视觉-语言-动作(VLA)模型中的状态幻觉问题,并提出了一种稀疏特征策略遗忘方法SOUL,通过选择性地遗忘与幻觉相关的特征,同时保留操作技能,从而减少模拟和真实机器人任务中的失败。
该预印本以对抗训练作为对照工具,在 GPT-2 Small 上检验表征简单性(SAE 可分解性、集中化归因)是否蕴含回路在因果上的简单性。研究发现,鲁棒模型具有更强的 SAE 可分解性,而回路规模则取决于机制区间:在高忠实度水平(90-95%)下,鲁棒性有所帮助,但在 85% 以下则无此效果。
BiasReducer 是一个轻量级框架,仅编辑奖励模型的线性奖励头,自适应地缓解模型对响应长度和自信度等表面属性的偏好。该框架采用类稀疏自编码器的编码器,按数据集检测并排序相关偏差。在五个奖励模型上,它平均将三项基准指标提升 8.3、18.0 和 6.9 个百分点,优于基于训练的基线方法,并降低了下游的冗长性和谄媚问题。
该论文研究了词性类别在Sparse AutoEncoder潜在空间中的编码方式,发现它们是分布式的,并不与单个潜在变量一一对应。
MonoTM是一个可解释的主题建模框架,通过稀疏自编码器将混合估计与特征解释解耦,从而提供超越传统基于单词表示的语义有意义的主题。
本文指出,针对基于SAE的LLM转向的统计top-k特征选择并非最优,并提出了邻居集成特征选择(NIFS)以通过利用表示相似性来提升性能。
本文介绍了奖励信息稀疏自编码器 (RI-SAEs),利用强化学习奖励来提升可解释性,但发现好坏推理的区分主要由解决方案完整性驱动,而非推理质量。
本研究探讨多语言大型语言模型是否为跨语言数学推理发展出共享的内部表示,引入了一种新颖的几何不变稀疏自编码器(GI-SAE)方法。研究发现,跨语言特征共享依赖于模型,且几何相似性并不一致意味着功能可互换性。
Prof-K is a probabilistic one-pass filtering algorithm for fast, scalable top-k selection with correctness guarantees, achieving 1.5x–10x speedups over PyTorch topk and RadiK, especially in large-scale small-k regimes.
本文报告了对Gemma 3 4B IT的激活研究,表明该模型的内部表征能够区分必然性虚假(不可能)与偶然性虚假,其中不可能方向与真实方向正交,并与语义异常方向重叠。
本文介绍了特征非局域性(FNL),一种基于熵的度量指标,用于衡量大型语言模型中SAE特征的语义抽象度,并展示了其在审计越狱缓解特征和通过引导提高MATH-500准确率方面的应用。
本文使用Top-K稀疏自编码器分析DeepSeek-R1-Distill-Qwen-7B的内部推理,对比思考(CoT)与非思考模式,发现不同的特征激活模式,并通过因果干预实验加以验证。
本文使用稀疏自编码器分解语言模型如何表征默认助手、角色扮演人格与故事角色,发现人格保留助手的核心特征,同时在层间逐步分化,而故事角色则缺乏该核心。
本文提出通过按列分块的SVD直接从线性权重位点提取机制挂载,为机械可解释性提供了一种替代稀疏自编码器等代理字典的方法。在Gemma-2-2B上评估,该方法通过了全部182项位点-层检查。
MMDiff利用多模态稀疏自编码器来隔离、检测和控制多模态语言模型中的特征,提升可解释性并针对视觉和安全行为进行定向引导。
CircuitSteer 是一种新颖的框架,利用稀疏自编码器来识别和操控大型语言模型中的多层语义电路,与CAA等单层方法相比,能够实现更鲁棒且保持流畅性的行为引导。
一项系统性实证研究显示,当规模足够(≥1.7B参数)时,从一种语言模型中提取的概念方向可以引导其他独立训练的模型,为柏拉图式表征假说提供了功能上的证据,并突显了跨模型可解释性工具的规模阈值。