标签
Neel Nanda 对一篇论文发表评论：论文中 GPT-6 Astra 编辑 Qwen3.5-0.8B 的权重以提升数学能力，他认为这一结果表明大语言模型在经典机制性可解释性技术方面出人意料地强大，而非有什么根本性的新突破。
一篇介绍 MIOE 的论文。MIOE 是一项因果消融基准，利用互换干预来评估大语言模型（Qwen3-8B/4B）是否在机制层面解决了实体类型判定和包含关系预测等本体任务。研究发现，分布式子空间方法表现最佳，但尚未完全将本体知识与辅助类别信息解耦。
本文运用机制可解释性工具——包括线性 CKA、logit lens、注意力分解、稀疏自编码器和激活修补（activation patching）——对 GPT-2 与 DistilGPT-2 进行对比分析，揭示了一种压缩-坍缩二分现象：IOI 电路完全坍缩，而 Greater-Than 电路则通过层重映射得以保留。
论文提出受控证据聚合（CEA）与平衡效用因果选择（BUC）方法，通过符号探针定位出可影响Transformer自然语言决策的紧凑注意力头集合，并在Pythia-410M上验证其因果效应。
一个开源仓库，记录了 20 项关于 Next-Concept Modeling（NCM）、机制可解释性（如 GPT-2 中的 IOI）以及模型对照实验的探索性研究，包含完整代码、实验结果，并对正面与负面结果均进行了透明报告。
本文追踪了 Pythia-1b 和 Pythia-410m 模型中主谓数一致性回路在训练过程中如何涌现并逐渐稀疏化，发现模型行为在早期便趋于稳定，而底层回路仍不断重组、变换所涉及的注意力头，并逐步缩减，最终呈现出极为稀疏的形态。
该论文提出了一种受失语症启发的机制可解释性框架，通过分类器引导的消融和激活引导，在大语言模型中诱发语言功能障碍，揭示出高度纠缠但可被映射的功能回路。
匹兹堡大学的一篇论文研究了大语言模型是否在内部表征了 CATO 的 26 个法律因素，结果表明，通过稀疏自编码器特征，可以从 Qwen3-1.7B、Qwen3-8B 和 Gemma-2 2B 中线性解码出所有因素，测试集上的 AUC 为 0.86–1.00。
该预印本提出 NR-SAE，一种利用冻结的 MoE 路由器的专家选择结果来寻址各专家自编码器组的稀疏字典方法。在 Gemma 4 26B-A4B 上的实验表明，该方法在重建质量上优于基于秩寻址、候选匹配以及随机标识等对照方案，同时作者指出其速度与因果忠实性方面的结果仍有待验证。
该论文提出了一种新的 Jacobian lens 变体——entity lens，可在不使用关系信息的情况下预测线性关系可解码性（LRE faithfulness），在 OLMo-3-7B 的 28 个关系上取得 ρ=0.7355 的相关性，表明线性可解码性更多是主体表示本身的属性，而非关系的属性。
该论文提出了 CultureLens——一个基于参考基准的评测与机制研究，用于探究大语言模型如何使用文化信息。研究表明，当引入相互矛盾的规范时，模型的一致性回答会显著下降，而通过有监督微调可以在很大程度上缓解这一弱点。
论文提出了 Guided-AP 方法，利用少量精确的激活补丁测量来揭示并修正归因补丁估计中的共享误差，在机制可解释性分析中，单提示的误差最多降低 26%，跨提示平均效应的误差降低 75-79%。
该论文提出了 Shaped SAEs，包括一种 Matched Filter SAE（MF-SAE），它通过基于 Jacobian 的降秩变换对 LLM 激活进行线性整形，再学习稀疏自编码器，以提升字典原子的语义选择性，并在 SAEBench 和 SAE Probes 上进行了评估。
UC Berkeley、Apple、EPFL、Harvard、MIT 和 Google DeepMind 的研究人员发现，在排序任务上训练的两层 Transformer 会根据初始化的不同收敛到两种机制上截然不同的解类别，其中只有双注意力层的解能够完美实现长度泛化。
该论文提出将层状态轨迹作为可观测对象来研究 Transformer 推理过程，发现真实层序产生的路径比端点保持的乱序更对齐，并通过局部转移执行器在 Qwen 等模型上选择性地控制内部轨迹与 top-1 候选边界。
本文对视觉-语言-动作（VLA）模型进行了机制可解释性研究，揭示了运动程序绑定于绝对坐标并忽略场景变化，从而解释了扰动脆弱性问题。文章推出了 Action Atlas，一个交互式平台，涵盖六个 VLA 模型上训练的 520 多个稀疏自编码器和 79 个已识别概念。
Goodfire 研究员 Nick Cammarata 发布了一篇 26,000 字的博客文章，声称大语言模型（LLM）可能比人们想象的更容易被理解、监控和控制，这一观点在 AI 社区引发了巨大的兴奋与质疑。
该论文因果性地追踪了导致模型「跟随提示线索而放弃正确答案」（sycophancy/caving）的注意力头，发现多种偏差共享同一个在预训练阶段就存在的线索路由电路，而微调与RL后训练只是调节该电路的激活强度与时机。
该论文提出"机制不确定性"概念，通过因果稳健性边际（causal robustness margin）量化大语言模型内部机制的稳定性，在多个开源模型与问答数据集上验证其对幻觉与不确定性检测的补充作用。
Chris Olah 在其广受关注的非正式研究随笔之后，反思了机制可解释性的深远影响。他认为，绘制现代语言模型中的神经元、电路和归因图可能远比此前假设的更容易实现，同时提醒人们既不要过度悲观，也不要过度炒作。