标签
Chris Olah 在其广受关注的非正式研究随笔之后，反思了机制可解释性的深远影响。他认为，绘制现代语言模型中的神经元、电路和归因图可能远比此前假设的更容易实现，同时提醒人们既不要过度悲观，也不要过度炒作。
本文对隐式思维链（潜在思维链）是否真正进行推理进行了系统研究，覆盖21种模型-任务组合，提出一个统一分类法，区分链条的表示内容与其在模型中的因果作用，揭示不同训练配方下潜在推理的多样机制。
该论文研究代码语言模型中对 Python 的默认偏好是否由可定位的因果电路产生，通过 55 个模型-语言设置的消融、激活修补和电路提取实验发现，偏好是否显得局部化取决于探针选择与组件预算，并呼吁报告分析选择。
该预印本以对抗训练作为对照工具，在 GPT-2 Small 上检验表征简单性（SAE 可分解性、集中化归因）是否蕴含回路在因果上的简单性。研究发现，鲁棒模型具有更强的 SAE 可分解性，而回路规模则取决于机制区间：在高忠实度水平（90-95%）下，鲁棒性有所帮助，但在 85% 以下则无此效果。
本文提出一种结构性电路分析，以在多语言语言模型中识别首令牌分发器和语言标识头部，揭示了稳定的枢纽拓扑结构，并且路由电路主要是在预训练期间建立的。
本文对指令调优下LLM中的知识冲突回路进行了机制性比较，发现调优是门控而非重新布线这些回路，跨越多个模型家族，对可解释性具有影响。
这篇论文揭示，只有少量的Transformer组件对token预测是必要的，并引入了直接读写这些组件的方法，只需极少更改。
本文定义了一种基于拓扑驱动的门级网表结构可操控性分数，该分数基于路径参与度、k-core嵌入、对称性和中心性，并评估了不同GNN架构在ISCAS85和EPFL基准上近似该分数的效果，以及一个关于木马检测的案例研究。
作者询问如何分析神经网络中探针的相对“强度”，讨论了词汇量有限和模型容量等挑战，并以Google Gemini为例说明了失败情况。
本文研究提示中无关数字如何导致语言模型中的锚定效应，并利用基于归因的电路方法在Qwen和Llama模型上定位携带该信号的内部路径。
本文研究了提示中的毒性词汇扰动如何降低LLM的事实准确性并增加不确定性，并使用归因图分析追踪内部变化。研究发现，增加毒性会放大对扰动敏感的变异节点，而核心推理节点保持不变。
本文挑战了“随着模型规模扩大，机制可解释性变得愈发困难”的假设，表明架构（特别是分组查询注意力与多头注意力之间的差异）对电路局部化和稳定性的影响比参数量更为关键。
本文通过证明由于微调期间神经电路的动态演变，静态机制定位并不充分，从而对大模型后训练中的“先定位后更新”范式提出了挑战。它引入了新的指标来分析电路的稳定性，并提出了在机制定位中需要预测性框架。
ASGuard是一种基于机制的防御框架，通过电路分析识别脆弱的注意力头，并应用有针对性的激活缩放和微调，在保持模型能力的同时提高拒绝行为的鲁棒性，从而缓解针对LLM的越狱攻击。
OpenAI 研究人员提出了一种训练稀疏神经网络的方法,通过强制大部分权重为零使其更易于解释,从而发现能够解释模型行为的小型解耦电路,同时保持性能。这项工作旨在推进机制可解释性,作为对稠密网络事后分析的补充,并支持 AI 安全目标。