标签
本文将链式思维推理建模为切换动态系统，表明推理微调全局性地重新组织潜在策略状态，从而改善了多步推理。提出的框架结合了时间感知对比学习与离散状态发现，实验表明，微调后的模型展现出更丰富的潜在策略组织，并具有功能特化。
本文挑战了平衡数据集以避免虚假相关性的标准做法，表明在涉及两层Transformer的合成求和奇偶性任务中，高数据不平衡（虚假比率0.9）促进了鲁棒泛化，而低不平衡（0.5）则阻碍了它，其机制是通过捷径饱和。
本文提出了一种跨语言的LLM数学推理机制分析，发现数学相关参数在不同语言之间存在部分重叠，主要集中于中间层。英语拥有最大规模的数学相关参数集，而低资源语言则拥有较小的参数集。
SWITCH 是一种可切换隐式推理框架，它使用显式边界标记，通过基于在策略的强化学习实现可训练且可解释的递归隐状态推理，优于先前的方法。
本文对六种偏好优化方法（PPO、DPO、SimPO、ORPO、GRPO、KTO）在三种开源模型系列上进行了系统性的机制分析，通过探针和稀疏自编码器揭示了对齐算法如何以不同的方式重塑内部表示。
这篇论文识别了大型语言模型（LLM）中的一个失败模式：在综合多个来源时，模型不会验证数值统计的有效性，而是依赖分析严谨性的文体标记。作者将此称为“认知对齐”（epistemic alignment），并表明该现象在多个模型和领域中持续存在，且抵制基于提示的缓解措施。
本文对LLMs在推理线性化结构化知识时产生幻觉的原因进行了机制分析，发现幻觉源于系统的内部动态，例如对捷径线索的关注以及前馈层中语义基础的失败，而非随机噪声。
本文提出，大型语言模型中的上下文学习通过低维概念子空间运作，任务相关信息集中在表示空间的一小部分中，并在Llama-3-8B和Qwen2.5-7B上通过实验得到支持。
本文通过机制分析研究视觉-语言模型中的提示诱导幻觉，识别出导致模型偏向文本提示而忽视视觉证据的特定注意力头。作者证明了删除这些PIH头可以在无需额外训练的情况下减少至少40%的幻觉，揭示了该故障模式背后的模型特定机制。