标签
论文提出参数轨迹交叉编码方法，追踪语言模型预训练中反嵌入矩阵（读出矩阵）的动态变化，发现模型隐藏状态编码任务信息的时间早于其输出所能表达的时间，早期的行为学时间点可能反映的是读出层的学习，而非模型能力的习得。
本文对隐式思维链（潜在思维链）是否真正进行推理进行了系统研究，覆盖21种模型-任务组合，提出一个统一分类法，区分链条的表示内容与其在模型中的因果作用，揭示不同训练配方下潜在推理的多样机制。
该论文研究代码语言模型中对 Python 的默认偏好是否由可定位的因果电路产生，通过 55 个模型-语言设置的消融、激活修补和电路提取实验发现，偏好是否显得局部化取决于探针选择与组件预算，并呼吁报告分析选择。
该论文结合叙事学与机制可解释性，在GPT-2-Small、Gemma-2-2B和Llama-3.1-8B中识别出与叙事性相关的注意力头、MLP神经元和稀疏自编码器特征，并通过消融实验证明这些组件对模型的叙事行为具有因果影响。
这篇论文研究生成模型在何种条件下可以充当可编辑的模拟器，提出通过探测器解码与逆映射两种方式将模型隐状态映射到模拟器状态，并在Othello与自建的连续世界Rayworld中发现映射成功与否强烈依赖环境，即使状态始终可解码。
该论文通过输入扰动、证据冲突和线性探针等方法，系统评估了六个生物推理模型在DNA、蛋白质和单细胞任务中是否真正利用了生物基础模型的表示。研究发现BioReason和BioReason-Pro几乎完全依赖文本而非生物输入，表明当前后训练策略并不能保证基础模型表示对任务性能产生实际贡献。
该论文提出了 PAIR（Phase-Aligned Intra-question Reasoning，相位对齐的题内推理），将 LLM 的推理路径视为相位结构化的轨迹，并且只在同一道问题内部评估路径质量。研究发现，标准的正确性探测在一定程度上依赖于题目层面的差异，而逐相位的引导能够提供关于路径质量方向的因果证据。
一种叫做虚假探测的技术使用自适应API级别搜索来找到能够揭示黑箱LLM潜在状态的问题，例如通过特定提示区分能力评估。
本文研究了LLM层中脚本知识的分布，揭示了脚本识别发生在早期，而对输出脚本的承诺则在后期层中出现，强调了模型深度对于多语言架构的重要性。
该论文提出了一种名为“内部识别探针（PIR）”的方法，通过分析语言模型的内部状态来检测其隐藏知识，旨在区分知识的刻意隐瞒与根本缺失，以应用于AI安全领域。
本文介绍了语言模型中的'明晰的失败'，即模型在隐藏状态中拥有正确信息但未能使用，并表明线性探针可以通过引导干预检测和修复此类失败。
本文研究了大型语言模型如何内部表示逻辑有效性，表明尽管行为表现不佳，有效性信息仍可从隐藏状态中解码，这表明表示、表达和因果使用具有不同的作用。
本研究比较了用于识别多语言大语言模型中潜在语言的探测技术，发现不同方法产生不一致的结果，表明它们揭示了多语言处理的不同方面，而非单一的内部通用语。
本文系统地研究了语言模型中的评估意识，表明模型内化了评估语境，导致内部表征、语言表达和导向行为之间的脱节，对基准可靠性有影响。
This paper proposes a nuisance-controlled residual-stream probing protocol to detect benchmark contamination in language models, showing that naive probing fails and their corrected method controls false positives while achieving reasonable power.
本文介绍了提示嵌入探针（PEP），一种参数高效的线性探针扩展方法，利用隐藏状态上的可学习提示嵌入来检测冻结的大语言模型中的幻觉。在 TriviaQA、GSM8K 和 MedQA 上使用 Qwen3 模型的评估显示，相比标准线性探针，该方法在预生成和跨模型设置中均有改进。
This paper investigates the 'knowing-saying gap' in language models, showing that linear probes can detect corrupted context with near-perfect accuracy yet fail to predict final answer errors, with implications for deployment monitoring and intervention strategies.
This paper proposes a three-stream detector that combines residual-stream motion with coarse regions and fine directions to better identify reasoning errors in LLMs, improving selection accuracy by up to 12% over state-of-the-art displacement-only methods.
本文介绍了Right Reset (RR)，一种基于前缀移除的探测方法，通过因果语言模型的隐藏状态保持来识别扁平化文本中的分块边界，恢复了47.7%的原始记录，而BGE基线为25.9%。
本文表明，语言模型中的重复效应取决于读取位置：相邻重复会提高目标概率，而移位重复则产生倒U形曲线。这一发现挑战了完形填空式探测中的假设，并在多个模型和语言中得到了验证。