更大上下文窗口，更少过度校正：优化提示和批处理以实现最小编辑语法错误纠正

# 优化提示与批处理以实现最小编辑语法纠错
来源：https://arxiv.org/html/2609.10810

## 更大上下文窗口，更少过度纠正：优化提示与批处理以实现最小编辑语法纠错
致谢：已被EMNLP 2026（Findings）录用。Kateryna Karpo††thanks:第一作者。Artem Chernodub单位：[email protected]@gmail.com

###### 摘要
最小编辑语法纠错（GEC）对于零样本和少样本提示的大语言模型（LLMs）而言是一项具有挑战性的任务，这些模型系统性地过度纠正并因重写格式正确的片段而降低F₀.₅值。虽然微调提供了有效的解决方案，但它对基础设施提出了巨大需求。我们引入了一种基于提示的方法，通过GEC提示方法论的三项进展，缩小了与微调模型的差距。首先，我们引入基于分类法的指令，通过全面的语法规则列表来强制执行最小编辑约束，为LLM配备了有界的、与指标对齐的可纠正编辑范围，这对最强模型有益，但总体上仍具模型依赖性。其次，我们表明将多个未纠正的句子批处理到单个输入上下文中，可以作为针对过度纠正的正则化器，在不同的LLM系列中系统性地降低编辑率；我们假设这是由自注意力分数有限容量引起的注意力稀释效应所致。最后，LLM辅助的提示优化对这些指令进行了细化。在Gemini 3.1-Pro的支持下，我们的提示在BEA-2019测试集上实现了F₀.₅=78.32，建立了新的基于提示的SOTA，同时将与微调单模型SOTA（Staruch et al., 2025 (https://arxiv.org/html/2609.10810#bib.bib40)）的差距缩小到仅0.38分。代码、提示和输出均已公开。111本工作是Kateryna Karpo在乌克兰天主教大学应用科学学院硕士论文的一部分。222https://github.com/katerynkarpo/llm-en-gec

## 1引言
语法纠错（GEC）有两个评估范式（Bryant et al., 2019 (https://arxiv.org/html/2609.10810#bib.bib4)）。面向流畅性的纠正允许进行广泛的词汇替换和风格重组，以产生听起来像母语的文本（Napoles et al., 2017 (https://arxiv.org/html/2609.10810#bib.bib30)）。而最小编辑纠正则针对语法、拼写和标点错误进行修改，同时保留原始措辞（Leacock et al., 2014 (https://arxiv.org/html/2609.10810#bib.bib21)）。这种最小化、有针对性的纠正对于教育应用至关重要，因为其目标是指导学习者在保留原意的同时修正自己的错误（Nicholls, 2003 (https://arxiv.org/html/2609.10810#bib.bib32)），而控制LLMs来实现这一点仍然很困难（Vajjala et al., 2026 (https://arxiv.org/html/2609.10810#bib.bib47)）。早期关于最小编辑GEC的工作依赖于对序列标注器（Awasthi et al., 2019 (https://arxiv.org/html/2609.10810#bib.bib3); Omelianchuk et al., 2020 (https://arxiv.org/html/2609.10810#bib.bib33); Tarnavskyi et al., 2022 (https://arxiv.org/html/2609.10810#bib.bib44)）和序列到序列模型（Junczys-Dowmunt et al., 2018 (https://arxiv.org/html/2609.10810#bib.bib17); Grundkiewicz et al., 2019 (https://arxiv.org/html/2609.10810#bib.bib14); Kiyono et al., 2019 (https://arxiv.org/html/2609.10810#bib.bib20); Rothe et al., 2021 (https://arxiv.org/html/2609.10810#bib.bib39)）的监督微调。两种方法都面临召回率瓶颈：标注器受限于有限的编辑空间，而序列到序列交叉注意力会引入复制偏差。它们保守的片段局部偏差仍然与加权精度的F₀.₅目标自然契合，并为基于提示的方法设定了严格的行为基线。Alikaniotis和Raheja（2019）(https://arxiv.org/html/2609.10810#bib.bib2)证明了早期的GPT模型可以在没有特定任务训练的情况下执行GEC。随着指令微调的、仅解码器LLMs（Ouyang et al., 2022 (https://arxiv.org/html/2609.10810#bib.bib35)）（如ChatGPT）的兴起，零样本和少样本提示成为无需特定任务微调即可进行文本编辑的广泛采用范式。开箱即用的提示型LLMs在奖励自由形式重写的任务上迅速达到了最先进的结果，例如流畅性GEC（Loem et al., 2023 (https://arxiv.org/html/2609.10810#bib.bib27)）和文本简化（Vadlamannati and Şahin, 2023 (https://arxiv.org/html/2609.10810#bib.bib46)）。将这些模型应用于带有普通指令（例如，“纠正语法错误”）的最小编辑GEC时，同样的模型在零样本和少样本设置下都系统性地过度纠正（Fang et al., 2023 (https://arxiv.org/html/2609.10810#bib.bib11); Coyne et al., 2023 (https://arxiv.org/html/2609.10810#bib.bib8)），会重写格式正确的片段，进行同义词替换、风格润色或从句重构，这些都没有增加实际价值。最近基于提示的最小编辑GEC工作探索了更丰富的提示策略，从错误模式感知的上下文内示例选择（Tang et al., 2024 (https://arxiv.org/html/2609.10810#bib.bib43); Li et al., 2025 (https://arxiv.org/html/2609.10810#bib.bib22)）到先检测后纠正的提示（Li and Wang, 2024 (https://arxiv.org/html/2609.10810#bib.bib23)）以及自动提示优化（Chernodub et al., 2025 (https://arxiv.org/html/2609.10810#bib.bib7)）。即便如此，基于提示的系统仍然落后于监督学习的最先进水平，因此执行最小编辑约束的主流途径仍然是基础设施负担沉重的微调：Omelianchuk等人（2024）(https://arxiv.org/html/2609.10810#bib.bib34)调整LLaMA-2以减少过度纠正；Liang等人（2025）(https://arxiv.org/html/2609.10810#bib.bib24)通过编辑级偏好优化，使LLaMA2和Mistral-v0.1的预训练目标与最小编辑原则对齐；Staruch等人（2025）(https://arxiv.org/html/2609.10810#bib.bib40)通过微调Gemma 2，采用逐步提高未编辑示例比例的训练方案，反转了早期过滤掉无错句子的序列到序列流程（Junczys-Dowmunt et al., 2018 (https://arxiv.org/html/2609.10810#bib.bib17); Grundkiewicz et al., 2019 (https://arxiv.org/html/2609.10810#bib.bib14)），在BEA-2019上创下了当前单模型SOTA（F₀.₅=78.70）。我们的目标是缩小微调GEC系统与基于提示的、通过API访问的LLMs之间的差距，这对于由于工程或监管约束而无法负担开源LLMs微调的个人和组织至关重要。我们的假设是，最新LLMs增加的指令遵循能力已经足以在不需要权重更新的情况下遵守最小编辑GEC约束。最近的结果支持这一点，但也暴露了其局限性：使用声明性的最小编辑指令，Claude Sonnet 4.5在BEA-2019测试集上达到了F₀.₅=64.91（Türker and Eryiğit, 2026 (https://arxiv.org/html/2609.10810#bib.bib45)），但仍比微调单模型SOTA落后13.79分。我们认为声明性风格是原因之一：它陈述了目标，但没有说明哪些编辑是允许的。我们基于分类法的指令提供了缺失的规范，将编辑空间限制在25个与指标对齐的ERRANT类别（Bryant et al., 2017 (https://arxiv.org/html/2609.10810#bib.bib5)）内。一旦指令达到这个质量水平，我们通过LLM辅助的提示优化来寻找特定模型的指令细化方案。最后但同样重要的是，我们引入批处理以减少延迟和成本（Cheng et al., 2023 (https://arxiv.org/html/2609.10810#bib.bib6)），但意外地为最小编辑GEC带来了持续的质量提升，这促使我们系统研究批大小如何影响编辑率和纠正质量。我们在六个商用LLM和一个开放权重模型上，跨两个最小编辑基准评估了我们的方法。我们的主要贡献是：1. 我们为基于提示的最小编辑GEC设立了新的最先进水平。使用Gemini 3.1-Pro和我们最佳的提示A.6.4 (https://arxiv.org/html/2609.10810#A1.SS6.SSS4)，我们在BEA-2019测试集上实现了F₀.₅=78.32，这是开箱即用的提示型LLM首次将与最佳微调单模型（Staruch et al., 2025 (https://arxiv.org/html/2609.10810#bib.bib40)）的差距缩小到仅0.38个F₀.₅分。我们还在CoNLL-2014测试集上报告了具有竞争力的F₀.₅=67.08。2. 我们引入了基于分类法的GEC指令，建立在最小编辑基线之上，提供有界的、与指标对齐的编辑范围，既能对最强模型进行有效约束，又能作为其他模型的噪声。通过具体列表定义错误，解决了普通GEC提示中模糊的“语法错误”表述和要求保守重写但未说明如何做的声明性“最小编辑”指令的局限性。3. 我们确定批处理是针对过度纠正的正则化器：将多个句子打包到单个上下文中可以降低单词级编辑率并持续提高F₀.₅分数。我们假设这源于自注意力分数有限容量引起的注意力稀释效应。4. 我们应用了LLM辅助的提示优化，将其实现为可复用的Claude Code代理技能2 (https://arxiv.org/html/2609.10810#footnote2)，并将其应用于基于分类法的指令和批处理之上。该代理迭代地聚类开发集错误，并贪心地采用能提高F₀.₅分数的提示修订。

## 2相关工作
生成式LLMs过度纠正的倾向早已被认识，这使基于提示的GEC研究转向寻找正确的措辞和结构来强制执行最小编辑约束。Fang等人（2023）(https://arxiv.org/html/2609.10810#bib.bib11)和Coyne等人（2023）(https://arxiv.org/html/2609.10810#bib.bib8)的早期评估依赖于声明性提示，要求模型最大化源文保留。Loem等人（2023）(https://arxiv.org/html/2609.10810#bib.bib27)随后表明，仅提示措辞就能引导GPT在最小编辑和流畅性编辑模式之间切换，Davis等人（2024）(https://arxiv.org/html/2609.10810#bib.bib10)将此发现扩展到开源LLMs，并且开箱即用的LLM性能也因作者熟练程度（Zeng et al., 2024 (https://arxiv.org/html/2609.10810#bib.bib51)）和语言（Katinskaia and Yangarber, 2024 (https://arxiv.org/html/2609.10810#bib.bib19)）而差异显著，而早期的微调系统通过使GEC模型适应作者的熟练程度和母语来处理这些因素（Nadejde and Tetreault, 2019 (https://arxiv.org/html/2609.10810#bib.bib29)）。最近减少过度纠正的努力超越了基础指令：Li和Wang（2024）(https://arxiv.org/html/2609.10810#bib.bib23)引入了两步检测-纠正架构；Tang等人（2024）(https://arxiv.org/html/2609.10810#bib.bib43)提出了基于非语法句法的上下文内示例选择；Goto等人（2026）(https://arxiv.org/html/2609.10810#bib.bib13)通过编辑级多数投票聚合多次解码。Türker和Eryiğit（2026）(https://arxiv.org/html/2609.10810#bib.bib45)报告了迄今最强的零样本提示结果，使用声明性最小编辑指令，在结构上接近我们的最小编辑零样本提示（A.2 (https://arxiv.org/html/2609.10810#A1.SS2)）；引入分类法（A.4 (https://arxiv.org/html/2609.10810#A1.SS4)）是区分我们指令的关键。这种最小编辑+分类法的设计改编自我们之前关于乌克兰语的工作（Karpo and Chernodub, 2026 (https://arxiv.org/html/2609.10810#bib.bib18)），在UNLP 2023共享任务基准（Syvokon and Romanyshyn, 2023 (https://arxiv.org/html/2609.10810#bib.bib42)）上评估，基于UA-GEC语料库（Syvokon et al., 2023 (https://arxiv.org/html/2609.10810#bib.bib41)）。我们不是依赖多步流水线或推理时投票，而是通过基于GEC分类法的指令原生约束编辑范围。先前的工作将批处理纯粹视为推理吞吐量优化（Cheng et al., 2023 (https://arxiv.org/html/2609.10810#bib.bib6)），在GEC领域也是如此（Masciolini et al., 2025 (https://arxiv.org/html/2609.10810#bib.bib28)）。在更广泛的LLM文献中，扩展输入上下文通常与注意力稀释导致的质量下降有关，包括“中间丢失”效应和推理失败（Qin et al., 2022 (https://arxiv.org/html/2609.10810#bib.bib37); Liu et al., 2024 (https://arxiv.org/html/2609.10810#bib.bib26); Liu et al., 2023 (https://arxiv.org/html/2609.10810#bib.bib25)）。据我们所知，此前没有工作利用输入批处理作为正则化器来主动减少最小编辑GEC中的过度纠正。自动提示优化（APO）已成为手动提示工程的一种流行替代方案，其中LLM迭代重写其执行的指令（Ramnath et al., 2025 (https://arxiv.org/html/2609.10810#bib.bib38)）。在GEC领域内，Chernodub等人（2025）(https://arxiv.org/html/2609.10810#bib.bib7)将此范式应用于GPT-4o，将提示视为一个可学习的、自动推断和精炼的指令列表。而我们的流程是一个半自动的Claude Code技能，在每次迭代中根据用户反馈重写整个提示。

## 3提出的方法
我们提出了一个基于提示的最小编辑GEC框架，结合了基于GEC分类法的提示和批处理推理，并通过LLM辅助的提示优化进一步细化。

##### 提示策略。我们评估了五种手工设计的提示（A.1 (https://arxiv.org/html/2609.10810#A1.SS1)–A.5 (https://arxiv.org/html/2609.10810#A1.SS5)），在是否包含少样本示例和25个ERRANT错误类别上有所不同。最强的一个，“最小编辑少样本+分类法”（A.5 (https://arxiv.org/html/2609.10810#A1.SS5)）随后针对中等容量模型（第4节 (https://arxiv.org/html/2609.10810#S4)）分别进行优化，生成了针对特定模型系列（OpenAI GPT、Anthropic Claude、Google Gemini）以及开放权重Qwen3-8B模型的三个LLM优化提示变体。
1. 1.普通零样本提示（附录A.1 (https://arxiv.org/html/2609.10810#A1.SS1)）：一个修复语法和拼写错误的通用指令，改编自Coyne et al. (2023) (https://arxiv.org/html/2609.10810#bib.bib8)，没有进一步的约束和示例：“回复输入句子的更正版本，修复所有语法和拼写错误。如果没有错误，请回复原始句子的副本。”
2. 2.最小编辑零样本提示（附录A.2 (https://arxiv.org/html/2609.10810#A1.SS2)）：直接声明最小编辑约束（“进行最小化、精确的编辑以修复错误。不要重写或转述。”），加上一个简短的规则列表，禁止转述、流畅性改进和风格变更，与Loem et al. (2023) (https://arxiv.org/html/2609.10810#bib.bib27)和Davis et al. (2024) (https://arxiv.org/html/2609.10810#bib.bib10)保持一致。没有列举语法错误类别，因此模型自行决定什么是错误。
3. 3.最小编辑少样本提示（附录A.3 (https://arxiv.org/html/2609.10810#A1.SS3)）：k