当多反而少：语言模型中位置相关的重复效应

# 位置相关的重复效应在语言模型中的表现 来源：https://arxiv.org/html/2608.04021 ## 当更多反而更少：语言模型中位置相关的重复效应 ###### 摘要 遮蔽式（Cloze‑style）探针在改变目标词元出现频率时，隐含假设的是：无论读出槽位于何处，目标词的更多副本对预测的影响方式相同。我们证明这一假设不成立。我们的双探针设计固定重复目标前缀不变，仅改变读出位置：*相邻*探针将槽紧邻重复块之后；*位移*探针将其置于一个新句子框架内部。相邻重复的行为符合启动直觉的预测：P(target) 随 N 上升并达到平台。位移重复则呈现倒 U 形：P(target) 先升至早期峰值，随后随着更多副本加入而下降。在我们测试的全部 13 个开放获取编码器与解码器模型中，位移倒 U 形的逐词下降的 bootstrap 置信区间均排除零，并在西班牙语、中文、德语和法语中的 42/42 个多语言单元中复现。六条件因果消融将该效应归因于目标的精确词汇重复，而非序列长度、一般冗余或语义邻近词暴露。框架语用控制排除了读出框架本身带来的伪影。在内部，每个目标词元的注意力随 N 下降，而分配给重复块的总体注意力预算在因果 LM 中增长，但在我们探测的遮蔽 LM 中则不然。改变重复次数的探针不能将读出位置视为与其所测量内容正交。当更多反而更少：语言模型中位置相关的重复效应 Han-yu Wang 香港大学 [email protected] ## 1 引言 在语言模型的遮蔽式探针研究中，一种常见模式（Petroni 等，2019 (https://arxiv.org/html/2608.04021#bib.bib15)；Ettinger，2020 (https://arxiv.org/html/2608.04021#bib.bib16)）是读取模型在单个槽位上的预测，通常是提示中受控材料之后的下一个词元位置。当此类探针同时改变目标词元出现的频率时，它隐含假设读出位置与重复效应正交：即无论预测槽相对重复块位于何处，更多副本对预测的影响方式相同。我们证明这一假设不成立。相同重复目标前缀在两个相隔一个小句的读出位置产生相反的曲线。该诊断工具是一个最小对（图1 (https://arxiv.org/html/2608.04021#S1.F1)）。我们固定重复目标前缀，仅改变预测槽的位置。*相邻*探针将槽直接放在块之后；*位移*探针将其移入一个新的句子框架中。在相邻槽上，P(target) 随副本数 N 上升并达到平台，符合启动解释。在位移槽上，P(target) 则先升至早期峰值，然后随着更多副本加入而下降：我们称之为*位移倒 U 形*的形状。由于相邻基线确认了相同前缀下局部延续仍然可用，位移下降不能解释为长上下文能力损失；它是读出位置的属性。 参见图注 图1：双探针设计。(a) *相邻*探针将预测槽直接放在 N 个目标副本前缀之后。(b) *位移*探针共享相同前缀，但通过五个句子框架 F0–F4 之一将槽移入新子句。该框架同样适用于遮蔽 LM（槽为[MASK]）和因果 LM（槽为下一词元位置）。 这种分离很重要，因为受控探针研究通常评分的正是位移槽。事实知识的遮蔽探针、语义启动研究、改变演示次数的上下文学习分析，以及任何在操纵材料之外一个小句读取预测的基准，都将读出位置视为与操纵对预测的影响正交。位移倒 U 形说明，只要操纵是重复，这种观点就是错误的：研究预期的单调启动在实际评分的槽上可能反转。该效应并非脆弱的边界情况。在我们探测的全部 13 个开放获取编码器和解码器模型中都出现，并在西班牙语、中文、德语和法语中复现。六条件因果消融将其归因于目标的精确词汇重复，而非序列长度、一般冗余或目标语义邻近词暴露；框架语用控制表明读出框架本身并非原因。即使答案在提示开头被明确陈述（位移探针原本会扣留的另一种检索路径），该特征依然存在。在内部，每个重复副本获得的按目标词元注意力随 N 下降，而模型分配给重复块的总体注意力预算在我们考察的因果 LM 中增长，但在遮蔽 LM 中则不然。 我们的主要贡献是经验发现：当前开放获取模型无法在位移槽上对精确词汇重复进行加性聚合：增加目标副本可能会降低其在块外一个小句处的概率，即便相同前缀能启动相邻槽。第二个贡献是使这一发现可见的工具：一种匹配前缀的双探针设计，将局部模式延续与位移检索分离，并适用于任何对重复内容进行受控探针的研究。 本文其余部分确立这一发现及其边界。第4节 (https://arxiv.org/html/2608.04021#S4) 记录了跨模型面板的相邻/位移分离及其跨语言复现；第5节 (https://arxiv.org/html/2608.04021#S5) 通过六条件消融、框架语用控制和预先陈述答案的稳健性检查来隔离原因；第6节 (https://arxiv.org/html/2608.04021#S6) 报告内部注意力相关性；第7节 (https://arxiv.org/html/2608.04021#S7) 阐述对探针方法学的启示。 ## 2 相关工作 以往关于语言模型中重复的研究大多关注模型输出：贪心或束搜索解码下的退化循环（Holtzman 等，2020 (https://arxiv.org/html/2608.04021#bib.bib1)；Welleck 等，2020 (https://arxiv.org/html/2608.04021#bib.bib2)；Xu 等，2022 (https://arxiv.org/html/2608.04021#bib.bib3)），以及多次演示在上下文学习中的作用（Min 等，2022 (https://arxiv.org/html/2608.04021#bib.bib9)；Agarwal 等，2024 (https://arxiv.org/html/2608.04021#bib.bib11)）。我们转而询问输入侧的问题：当提示具有重复性时，模型的预测如何变化。 几条研究线索涉及重复词元对基于 Transformer 的语言模型在输入侧的影响。Barbero 等 (2024 (https://arxiv.org/html/2608.04021#bib.bib12)) 证明了仅解码器输入重复时的表征坍缩结果；Yona 等 (2025 (https://arxiv.org/html/2608.04021#bib.bib13)) 描述了“重复词元发散”现象，并将其与注意力汇（attention-sink）动态联系起来。注意力汇本身（Xiao 等，2024 (https://arxiv.org/html/2608.04021#bib.bib7)；Gu 等，2025 (https://arxiv.org/html/2608.04021#bib.bib14)）已被描述为积累不成比例注意力质量的位