前沿语言模型难以完成精确复制：文本在二维视角下更胜一筹

# 前沿语言模型难以完成复制任务：文本或许更适合以二维视角审视

来源：https://arxiv.org/html/2607.16072

郝东文¹联合第一作者、易然张¹联合第一作者、盈发陈¹联合第一作者、凯丰吕  
清华大学 {whd25,zhangyir22,yingfa-c24}@mails.tsinghua.edu.cn [email protected]

###### 摘要

尽管大型语言模型（LLMs）能在数秒内解决高级推理问题，但我们的研究表明，即使是前沿模型也无法完成一项看似更简单的操作：精确复制一个完全在其上下文窗口内的输入字符串。我们将这一失败归因于Transformer架构中的位置编码，其归纳偏好倾向于通过匹配局部上下文的捷径进行复制，而非仔细定位相应的输入位置。为解决此问题，我们引入了2D-RoPE，它将文本组织成二维网格而非一维序列，并为每个词元分配行ID和列ID。在此视角下，复制任务简化为在固定列偏移处检索输入词元，使该任务更易于学习。在合成复制实验中，配备2D-RoPE的浅层Transformer在训练时未见过的、比训练时长数百倍的输入长度上实现了完美复制，而标准位置编码则远远落后。我们进一步表明，在DCLM上进行的大规模预训练（模型规模达1.4B参数）中，2D-RoPE语言模型在复制任务上的优势持续成立。总体而言，我们的结果表明，以二维视角审视文本有益于语言建模，并希望这一发现能鼓励未来工作进一步探索二维位置编码的潜力。我们的代码可在https://github.com/hhhhhh-925/copy-2dRoPE获取。

## 1 引言

尽管大型语言模型（LLMs）在广泛的复杂推理问题上取得了巨大成功，但我们发现它们仍难以完成一项看似简单的任务：给定一个输入字符串，输出完全相同的字符串（可能需进行微小调整以匹配所需输出格式）。我们将此称为复制任务，并特别考虑以下两种变体：

- •**二进制复制。**我们给模型一个由两种词元组成的简单字符串（如0和1），模型被要求输出完全相同的词元序列。
- •**Python列表转换。**我们从合成物理实验中生成一个逗号分隔的数据点列表，将其输入LLM，并要求LLM将数据转换为可用于生成数据绘图代码的Python列表。

尽管解决这些复制任务可能不需要与LLM同等的智能水平，但可以认为这是任何智能体都应具备的基本能力。例如，智能体可能需要从配置文件中复制参数以调用函数，或将非结构化的用户输入整理成特定格式以供下游处理。毕竟，如果当前的LLM已足够智能，能在奥林匹克级数学和竞赛编程中获得金牌（OpenAI, 2025 (https://arxiv.org/html/2607.16072#bib.bib81); Luong and Lockhart, 2025 (https://arxiv.org/html/2607.16072#bib.bib84); Lin and Cheng, 2025 (https://arxiv.org/html/2607.16072#bib.bib83)），那么我们为何不该期望它们能完美完成这一基本复制任务呢？

然而，如图1 (https://arxiv.org/html/2607.16072#S1.F1)所示，我们评估的所有前沿LLM，包括GPT-5.5、Gemini 3.1 Pro和DeepSeek V4 Pro，在相当一部分完全在其上下文长度之内的输入字符串上都失败了。在更长的输入上，它们的复制精度进一步下降，通常远低于50%。

图1：前沿语言模型难以完成两个代表性的复制任务（二进制复制和Python列表转换），而我们的2D-RoPE模型则实现了显著更好的性能。有关基准构建的详情，请参见第3.1节。

##### 理解复制失败的原因

我们的实验设计基于以下猜想：LLM可能并非直接使用绝对索引i来从输入中检索第i个字符。相反，复制可能是通过更接近归纳头机制的方式实现的（Olsson et al., 2022 (https://arxiv.org/html/2607.16072#bib.bib70); Chen et al., 2024b (https://arxiv.org/html/2607.16072#bib.bib27)）：模型搜索先前出现过的相似局部上下文，然后预测该上下文之后紧接的词元。在这种视角下，重复的子串会产生模糊的局部匹配，从而干扰精确复制。确实，在我们的实验中，测试字符串并非随意选取，而是特意选择了包含重复子串的字符串。例如，在Python列表转换任务中，部分数据来自周期性的正弦波或三角波。我们在图2 (https://arxiv.org/html/2607.16072#S3.F2)中的进一步实验表明，复制精度与输入字符串中的重复程度呈负相关。

在第3节中，我们发展了表达能力理论和机制可解释性结果来支持这一猜想，并表明复制失败与Transformer中使用的位置编码密切相关。尽管RoPE具有平移不变性等吸引人的特性，但它并未为模型提供足够强的归纳偏好，使其能通过相对位置对齐源词元和目标词元。结果，学习到的注意力模式并未干净地与相应的源位置对齐，而是很容易被局部相似的子串吸引。

##### 我们的方法：二维位置编码

这一分析指向了一个自然的设计目标：一种具有更强归纳偏好的位置编码，能够促使从输入中的对应位置进行复制。为此，一个关键的观察是复制任务具有隐式的二维结构。当将输入字符串x₁, ..., xₙ复制到输出字符串y₁, ..., yₙ时，如果我们仅将整个上下文视为一维序列，例如：

, <:>, x₁, ..., xₙ, <\n>, , <:>, y₁, ..., yₙ,

那么，生成输出词元yₖ要求模型从依赖于输入长度n的偏移处检索xₖ。这对于相对位置编码（如RoPE）来说是不自然的，因为RoPE更容易表示固定偏移的检索，而非依赖于长度的检索。因此，模型退而求其次，采用匹配相似子串等更简单的捷径，也就不足为奇了。

相反，如果我们把输入和输出字符串排列成两行，例如：

, <:>, x₁, ..., xₙ, <\n>,
, <:>, y₁, ..., yₙ,

那么，生成yₖ就简化为从同一列或从固定常数偏移的列（取决于提示模板）中检索一个词元。

受这一关键观察的启发，我们引入了2D-RoPE。其构建灵感来源于视觉模型中如何将RoPE应用于二维图像（Jeevan and Sethi, 2022 (https://arxiv.org/html/2607.16072#bib.bib68); Heo et al., 2024 (https://arxiv.org/html/2607.16072#bib.bib66); Chu et al., 2024 (https://arxiv.org/html/2607.16072#bib.bib67)）。对于任何文本，2D-RoPE使用换行符< \n >（也称为换行词元）作为行分隔符，并将文本视为一个二维网格，其中每个词元被赋予一个二维位置ID对（行ID，列ID）。然后，在此二维网格上应用RoPE注意力，以编码两个轴上的相对位置。在这种表示下，复制字符串可以通过单个注意力层实现，该层从上一行的对应位置检索每个词元，这无疑是模型更容易学习的一种结构。

实验上，2D-RoPE在复制任务上实现了强大的长度泛化能力。这里，长度泛化指的是从短训练序列泛化到较长测试序列的能力。在合成复制实验中，我们在二进制复制任务上训练2D-RoPE模型，结果表明单层模型实现了高达1000倍的长度泛化，且复制完美；而12层模型在100倍长度泛化下仍保持完美性能。理论上，我们首先证明了配备2D-RoPE的单层Transformer可以表示二进制复制问题并实现长度泛化。此外，我们证明了在最多长度为L的序列上训练的单层2D-RoPE的全局最小值可以泛化到L的多项式次方的序列长度。

在合成环境之外，我们进一步探究：当作为真实语言模型而非仅在复制任务上训练时，2D-RoPE是否仍能保持其优势。因此，我们在DCLM（Li et al., 2024 (https://arxiv.org/html/2607.16072#bib.bib10)）上预训练了从350M到1.4B参数不等的2D-RoPE模型。在微调后，这些模型在复制任务上展现出了长度泛化和分布外泛化能力，同时保持了与RoPE相当的常识推理性能。

最后，由于自然文档中的二维结构并非总是由换行符明确标记，我们引入了Auto-2D-RoPE，它学习一种数据依赖的变换，自动为每个词元分配二维坐标。我们的实验表明，即使在没有换行符的情况下，Auto-2D-RoPE也能在二进制复制上保持长度泛化，而原始的2D-RoPE则不能。

- • 我们表明前沿LLM在复制任务上失败，并发展了表达能力理论和机制可解释性结果来解释这一失败（第3节）。
- • 我们引入了2D-RoPE，一种将文本视为二维而非一维的位置编码。实验上，我们证明专门在复制任务上训练2D-RoPE模型能够带来强大的长度泛化。我们还从理论上证明，2D-RoPE提高了模型表达能力，并为学习带有长度泛化的复制任务提供了更好的损失景观。更广泛地，这可能有助于阐明位置编码如何塑造模型的学习行为，而不仅限于本文研究的特定场景（第4节）。
- • 我们进一步在DCLM（Li et al., 2024 (https://arxiv.org/html/2607.16072#bib.bib10)）数据集上进行了模型规模从350M到1.4B参数的LLM预训练实验。我们的结果表明，2D-RoPE能够利用文本的二维结构，在保持可比的常识推理性能的同时，显著提升复制任务的性能（第5节）。
- • 为了减少2D-RoPE对换行符的显式依赖，我们引入了Auto-2D-RoPE，它能自动为每个词元确定二维坐标，并且即使在没有换行符的情况下也能在复制任务上实现长度泛化（附录F）。

总体而言，我们的结果表明，以二维视角审视文本有益于语言建模，并希望这一发现能鼓励未来工作进一步探索二维位置编码的潜力。

## 2 相关工作

##### 位置编码

注意力机制依赖于位置编码方法来建模词元的位置信息（Vaswani et al., 2017 (https://arxiv.org/html/2607.16072#bib.bib64)）。大多数最先进的LLM采用RoPE（Su et al., 2024 (https://arxiv.org/html/2607.16072#bib.bib69)），它已被证明具有强大的语言建模性能和长度泛化能力。Kazemnejad等人（2023 (https://arxiv.org/html/2607.16072#bib.bib34)）表明，仅具有因果掩码的注意力就能重建绝对和相对位置信息。最近，Yang等人（2026 (https://arxiv.org/html/2607.16072#bib.bib15)）提出了一种基于累积Householder变换的位置编码方案，并证明其可以在AC⁰归约下解决NC¹完全问题。

##### 结构化和多维位置编码

先前的工作探索了为每个词元分配多个结构坐标的位置编码。BiPE（He et al., 2024 (https://arxiv.org/html/2607.16072#bib.bib90)）将输入序列分解为片段，片段的边界由句号和换行符构建。然后它在每个片段内应用绝对位置嵌入，跨片段使用RoPE或ALiBi，这在理论上与双层非确定性有限自动机（BiNFA）相关。对于与编码相关的任务，HiRoPE（Zhang et al., 2024b (https://arxiv.org/html/2607.16072#bib.bib94)）根据源代码的语法结构构建层次化的RoPE坐标。尽管这些方法引入了层次化的位置结构，但它们的构造并未提供复制所需的归纳偏好。对于BiPE，一个片段内的绝对位置编码不提供复制所需的沿内部坐标的相对对齐。另一方面，HiRoPE依赖于编码数据中固有的层次结构，因此不直接适用于复制任务。在计算机视觉中，RoPE已被应用于像素或图像块的高度和宽度坐标（Jeevan and Sethi, 2022 (https://arxiv.org/html/2607.16072#bib.bib68); Heo et al., 2024 (https://arxiv.org/html/2607.16072#bib.bib66); Chu et al., 2024 (https://arxiv.org/html/2607.16072#bib.bib67)）。据我们所知，先前工作尚未系统研究位置编码如何影响语言模型的复制能力。

##### 长度泛化

许多早期研究表明，Transformer在长度泛化上时而成功时而失败，这与位置编码、数据格式及其他训练超参数等多个因素相关（Bhattamishra et al., 2020 (https://arxiv.org/html/2607.16072#bib.bib31); Anil et al., 2022 (https://arxiv.org/html/2607.16072#bib.bib32); Kazemnejad et al., 2023 (https://arxiv.org/html/2607.16072#bib.bib34); Awasthi and Gupta, 2023 (https://arxiv.org/html/2607.16072#bib.bib36); Jelassi et al., 2023 (https://arxiv.org/html/2607.16072#bib.bib38); Wang et al., 2024a (https://arxiv.org/html/2607.16072#bib.bib33); Zhou et al., 2023 (https://arxiv.org/html/2607.16072#bib.bib30), 2024 (https://arxiv.org/html/2607.16072#bib.bib35); Chang and Bisk, 2025 (https://arxiv.org/html/2607.16072#bib.bib37); Jelassi et al., 2024 (https://arxiv.org/html/2607.16072#bib.bib22)）。具体到复制任务，当输入字符串包含重复子串时，训练用于复制短字符串的Transformer通常无法很好地泛化到更长的字符串（Zhou et al., 2024 (https://arxiv.org/html/2607.16072#bib.bib35); Morwani et al., 2024 (https://arxiv.org/html/2607.16072#bib.bib16)）。理论上，Huang等人（2024 (https://arxiv.org/html/2607.16072#bib.bib23)）引入了一个形式化框架，证明Transformer可以解决一类可由C-RASP形式化（Yang and Chiang, 2024 (https://arxiv.org/html/2607.16072#bib.bib39)）表达的问题。不幸的是，重复复制在C-RASP表达能力意义上是可证明困难的。

##### Transformer的表示能力

有大量研究工作探讨Transformer的表示能力（Pérez et al., 2021 (https://arxiv.org/html/2607.16072#bib.bib44); Yao et al., 2021 (https://arxiv.org/html/2607.16072#bib.bib45); Chiang and Cholak, 2022 (https://arxiv.