标签
a9lim 和 treetowntree 推出了 neuron lens，这是一个可浏览的数据库及配套工具，利用 R-lens、S-lens 和 mid-lens 变体解读 Qwen3-8B 和 Gemma 4 12B 中的每个神经元和注意力头，其对模型引导效果的预测准确率超过 90%。
论文提出受控证据聚合（CEA）与平衡效用因果选择（BUC）方法，通过符号探针定位出可影响Transformer自然语言决策的紧凑注意力头集合，并在Pythia-410M上验证其因果效应。
该论文研究多模态大模型（MLLM）中的稀疏检索头在新增音频-视觉模态下的分布与共享机制，并通过排序目标优化这些注意力头，将 Qwen3-VL-8B 在 MMDocIR 上的页面 Recall@1 提升 6.03 个点。
该论文因果性地追踪了导致模型「跟随提示线索而放弃正确答案」（sycophancy/caving）的注意力头，发现多种偏差共享同一个在预训练阶段就存在的线索路由电路，而微调与RL后训练只是调节该电路的激活强度与时机。
该论文使用基于方向的激活追踪方法，研究了三个在不同有害领域上经过LoRA微调的Qwen2.5-3B-Instruct模型，发现它们共享三个注意力头位置。替换这些头的贡献可显著降低涌现错位率，表明涌现错位（EM）的表征收敛延伸到了具有因果相关性的共享计算组件。
本文研究了在句法上具有专门分工的注意力头（主语-动词注意力头）是否会在因果层面驱动 Transformer 语言模型的句法预测。研究发现，尽管这些注意力头呈现出专门化的注意力模式，但关于其发挥因果作用的证据并不一致，且总体偏向否定。
该论文结合叙事学与机制可解释性，在GPT-2-Small、Gemma-2-2B和Llama-3.1-8B中识别出与叙事性相关的注意力头、MLP神经元和稀疏自编码器特征，并通过消融实验证明这些组件对模型的叙事行为具有因果影响。
该论文提出三阶段流程，用于识别多语言大模型中的"Bridge Routing Heads"（BRH），发现五种语言对应的头集合几乎完全互斥，证明多语言多跳推理由语言特异的电路实现；消融实验显示了因果效应，并通过激活级干预，在无需训练的情况下即可挽救高达 51.7% 的跨语言推理失败。
本文研究了大语言模型如何处理否定，发现它们在 37–71% 的否定提示中未能翻转答案，原因是专门的注意力头和 MLP 神经元只是抑制了原始答案，而非利用它来选择替代答案；针对这一机制设计的置信度加权训练目标能够减少否定失败，同时造成的性能退化更小。
COMPASS提出一种无需预定义推理特征的推理时激活转向方法：利用模型自身答案的正确性作为信号，定位少数关键注意力头并沿正确性方向干预其激活，在数学基准上以显著更少的token逼近CoT精度。
WakeKV 是一种响应式、可逆的 KV-cache 驻留策略，能动态将「冷却中」的注意力头降级到可恢复的 CPU 缓存池中；在长上下文服务场景下，其表现优于基于冻结分类和破坏性驱逐的基线方法（SnapKV、R-KV、ReasonAlloc）。基于 FlexiCache/vLLM 的实现已在 Mistral-7B 上验证了吞吐量提升。
该论文对语言模型中的注意力头消融方法进行了审视，指出朴素的输出层面消融会因投影操作导致不同头的信息混合，其结果与修正后的投影前消融几乎不相关；同时论文还展示了准确率上的地板/天花板效应，强调只有在留出数据上设置匹配对照，才能得出站得住脚的因果结论。
这篇 arXiv 论文运用因果中介分析，追踪语言模型中谄媚性附和背后的机制，发现用户观点由一组稀疏的早期注意力头（attention heads）带入残差流（residual stream），而对这些注意力头进行消融（ablation）可以在不影响事实准确性的情况下减少谄媚行为。
本文介绍Magnitude Profile (MP)评分，这是一种无需校准的方法，用于剪枝Transformer中的注意力头，在如OPT-6.7B和RoBERTa-large等模型上相较于现有方法实现更好的困惑度，且无需前向传播或校准数据。
本文提出了一种四阶段的机制分解，描述大型语言模型如何解答数学应用题，并通过特定的注意力头将脆弱性从无关子句定位到操作规划阶段。
本文提出了HEAL，一种通过因果干预和反事实分析来分析和校准协同头中信息分布的方法，以减轻多模态大型语言模型中的幻觉。
本文提出了基于干预的指标，以区分 RoPE Transformer 中的检索头和位置头，从而推导出一种原则性混合架构 (HwH)，该架构结合了全注意力和线性注意力，以改善语言建模和长上下文外推。
SGD-KV是一个框架，利用摘要来指导大型语言模型中的KV缓存压缩，在上下文长度高达100万token时，将内存使用量减少高达75%，同时在长上下文基准测试中实现最先进的性能。
chessformer_lens 的一个演示表明，消融国际象棋 transformer 中的一个注意力头，会导致模型停止识别 Morphy 的后牺牲，这展示了特定能力集中在单个注意力头中。
论文介绍了 LOGOS，一种写感知检测器，通过将其 OV 电路输出投影到答案令牌反嵌入方向上的得分来识别 LLM 中负责非字面检索的注意力头，在多个模型家族中优于先前的基于注意力的方法。