EditLens: 量化文本中AI编辑的程度 (2025)

# EditLens：量化 AI 编辑在文本中的程度

**来源：** [https://arxiv.org/html/2510.03154](https://arxiv.org/html/2510.03154)

Katherine Thai¹²，Bradley Emi¹，Elyas Masrour¹，Mohit Iyyer³

¹Pangram Labs  
²马萨诸塞大学阿默斯特分校  
³马里兰大学帕克分校

###### 摘要

用户向大语言模型发送的查询中，有很大一部分是要求模型*编辑*用户提供的文本，而非从头生成新文本。以往的研究侧重于检测完全由 AI 生成的文本，而本文证明 AI 编辑过的文本与人类撰写的文本及 AI 生成的文本是可区分的。首先，我们提出使用轻量级相似度指标来量化文本中 AI 编辑的幅度，该指标以原始人类撰写的文本为参照，并通过人类标注员验证这些指标的有效性。利用这些相似度指标作为中间监督信号，我们训练了**EditLens**，一个能够预测文本中 AI 编辑量的回归模型。我们的模型在区分人类、AI 和混合写作的二分类任务（F1=94.7%）和三分类任务（F1=90.4%）上都达到了最先进的性能。我们不仅证明 AI 编辑过的文本可以被检测出来，还证明了 AI 对人类写作的改动程度可以被量化，这对作者身份归属、教育及政策制定具有重要意义。最后，作为案例研究，我们使用该模型分析了由流行写作辅助工具 Grammarly 应用 AI 编辑所产生的效果。为了鼓励进一步研究，我们承诺公开发布我们的数据集和模型。

## 1 引言

大语言模型（LLM）生成的文本与人类写作难以区分，这使得学术抄袭、虚假评论农场等恶意应用成为可能，从而推动了对准确的 AI 检测的需求。尽管现有的检测器将任务定位为二分类（完全人类 vs. 完全 AI 生成），但主流的 LLM 使用场景越来越多地涉及*协同写作*——用户通过 Grammarly¹、Sudowrite² 或 Google Docs 的 Gemini 集成等服务使用 LLM 进行编辑和头脑风暴。事实上，OpenAI 最近一项针对超过 100 万次 ChatGPT 对话的研究（Chatterji 等，2025）表明，“所有写作类消息中约有三分之二要求 ChatGPT 修改用户文本（编辑、评论、翻译等），而不是从零生成新文本。”二分类 AI 检测系统并不适合检测此类混合作者文本：例如，Saha & Feizi（2025）发现，二分类检测器经常将 AI 润色过的文本标记为 AI 生成，这限制了它们在轻度 AI 编辑可接受、但完全 AI 生成文本不可接受的情况下的实用性。

在本文中，我们开发了 **EditLens**，这是第一个能够将文本中 AI 编辑的程度估计为连续分数的 AI 检测器。以往关于检测混合 AI 与人类文本的研究，要么将其视为边界检测问题（Kushnareva 等，2024；Lei 等，2025），要么视为句子级别的分类任务（Wang 等，2023），要么视为人类、AI 与混合文本之间的三分类问题（Abassy 等，2024；Wang 等，2025）。然而，现代协作编辑涉及分层修订、建议和调整，模糊了传统的作者身份概念，使得明确将特定段落归属于人类或 AI 作者变得困难，从而导致边界检测和句子级任务难以定义。虽然三分类方法不需要对离散段落进行直接的作者归属，但它无法量化 AI 编辑的程度或幅度：文本仅仅是针对拼写和语法进行了轻度编辑，还是被完全重写和重构了？我们的模型并非对文本类别进行分类，而是直接回归出一个分数，表示 AI 在整个文本生成过程中的参与程度。

我们的贡献如下：

1. 1. 我们引入了一个全面的数据集，涵盖了人类撰写文本的 AI 编辑的完整分类体系。
2. 2. 我们通过轻量级相似度指标量化了应用于每个文本的 AI 编辑量，并验证了这些相似度指标与训练有素、能识别 AI 写作风格的专家人类标注者的判断具有相关性。
3. 3. 我们使用这些相似度指标，在开源大语言模型上微调一个回归头，从而仅依据编辑后的文本即可检测 AI 编辑的量。
4. 4. 当模型从回归模型转换为二分类或三分类模型时，我们证明 EditLens 取得了最先进的性能，在 macro-F1 上分别比最佳二分类器高出 8%，比最佳三分类器高出 16%。
5. 5. 我们还展示了与离散分类器不同，回归模型能够通过渐进的分数来区分更强烈的编辑，并以 APT-Eval、Beemo 和 Grammarly 的案例研究进行了说明。

我们的发现对 AI 文本检测政策具有广泛的影响。通过实现对 AI 参与程度的测量，可以一致地执行关于生成式 AI 模型可接受使用的更灵活政策。此外，我们的工作有助于减少误报，这是现有二分类 AI 文本分类器的一个关键限制。通过能够控制允许的 AI 编辑量，可以在 Jabarian & Imas（2025）为学术诚信等高利害场景所建议的政策上限框架下，实现更低的误报率。

请参见图注

**图 1：** AI 编辑存在于从完全人类撰写到完全 AI 生成的连续谱上。这里展示了同一段人类撰写文本在经过 LLM 不同编辑后的三个版本，以及编辑后文本与完全人类文本之间的余弦距离。为节省空间，文本已被截断。“修正所有错误”根据余弦距离是最轻度的编辑，仅纠正了拼写和语法错误；而“使其更具描述性”则紧密遵循了人类文本中的思想，但同时进行了大幅重写。

## 2 量化 AI 编辑幅度

请参见图注

**图 2：** 异质性和同质性混合作者文本示例。在异质性混合文本中，每个 token 的作者身份可明确归属。但在同质性混合文本中，模型重写的每个句子都明显保留了人类原创的思想，因此无法对任何词语或句子赋予二分类的作者标签。

### 2.1 同质性与异质性混合作者文本

为了更好地阐释我们的工作，我们首先引入**异质性**和**同质性**混合作者文本的概念。在异质性情况下，文本每个片段（segment）的作者身份可以直接归因于人类或 AI。例如，人类写下一段文字，然后让 AI 写下后续段落。在这种情况下，人类和 AI 片段之间存在一个或多个边界。我们可以为异质性混合文本创建 token 级别的标签：每个 token 要么由人类撰写，要么由 AI 撰写。异质性混合文本检测（也称为细粒度 AI 文本检测）先前已被 Kushnareva 等人（2024）、Wang 等人（2023）和 Lei 等人（2025）研究过。在同质性情况下，作者身份因编辑过程而纠缠不清。例如，人类写下一段文字，然后让 AI 将其改写。即使 AI 用同义词替换了段落中的每一个单词，作者身份仍然是混合的。因此，在这种情况下，基于 token 的二分类标签不足以衡量作者身份，因为双方都对整个文档提供了输入。尽管同质性混合 AI 文本越来越普遍，但对其研究不足，本文的其余部分将聚焦于检测这类混合文本。

### 2.2 任务定义：同质性混合文本

在许多实际场景中，一个人撰写的文档 \(x\) 随后被编辑产生新文档 \(y\)，其中可能由一个或多个主体（人类或 AI）以难以区分的方式执行了*多次*顺序编辑，最终得到 \(y\)。与异质性混合文本设置（假设每个片段完全由人类或 LLM 单独创作）不同，这里作者身份在编辑过程中是*潜在且纠缠的*。我们的目标不是归属作者身份，而是*根据与专家对 AI 写作风格和语义幅度判断一致的相似度指标，预测 \(x\) 和 \(y\) 之间的变化幅度*。

我们将编辑后的文本建模为编辑算子 \(\mathcal{E}_{\lambda}\) 应用于 \(x\) 的结果：

\[ y = \mathcal{E}_{\lambda}(x; z), \qquad z \sim p(z), \quad \lambda \in \Lambda, \]

其中 \(z\) 表示一个（潜在的）微编辑序列（插入、删除、替换、重排），可能由多种类型（人类或 AI）的编辑者混合执行，而 \(\lambda\) 概括了*编辑强度*。在同质性设置中，\(z\) 内的编辑者身份是未观测到的，在训练或推理时也不需要。为简单起见，在本研究中，我们聚焦于人类文本由单个 AI 语言模型一次性编辑的情况，但我们也通过案例研究展示了多次编辑以及人类编辑 AI 文本的泛化结果。

#### 相似度驱动的目标

令 \(\mathrm{sim}: \mathcal{X} \times \mathcal{X} \to [0,1]\) 为一个固定的相似度函数。我们通过相似度（或距离）的单调变换定义一个变化幅度函数 \(\Delta: \mathcal{X} \times \mathcal{X} \to [0,1]\)：

\[ \Delta(x,y) = g\!\big(\mathrm{sim}(x,y)\big), \quad \text{例如，} \quad g(s)=1-s \]

其中 \(\mathrm{sim}\) 是一个非负距离。当文本相同时 \(\Delta(x,y)=0\)（无编辑），随着更重编辑应用于形成 \(y\) 而增大。下文我们将通过该指标与专家标注者对文本中 AI 普遍程度的感知的一致性，来论证对 \(\mathrm{sim}\) 的特定选择；该指标在训练和评估时被认为是已知的。

#### 仅基于编辑文本进行推理

在大多数实际场景中，推理时只有编辑后的文档 \(y\) 可用。因此，我们学习一个*单输入*预测器，将 \(y\) 直接映射到变化幅度，而不需要重建或检索源文档 \(x\)：

\[ f_{\theta}^{\text{ssi}}: \mathcal{X} \to [0,1], \qquad \hat{\Delta}(y) = f_{\theta}^{\text{ssi}}(y). \]

训练仍是*有监督的*，仅使用 \(\{ (x^{(i)}, y^{(i)}) \}_{i=1}^{N}\) 这对数据来计算目标 \(\Delta^{(i)} = \Delta(x^{(i)}, y^{(i)})\)；模型在推理时从不依赖于 \(x\)。具体地，我们优化：

\[ \min_{\theta} \; \frac{1}{N} \sum_{i=1}^{N} \mathcal{L}\!\Big( f_{\theta}^{\text{ssi}}\big(y^{(i)}\big), \, \Delta\big(x^{(i)}, y^{(i)}\big) \Big). \]

该目标的贝叶斯最优预测器是条件期望 \(f^{\star}(y) = \mathbb{E}\!\left[ \Delta(X,y) \mid Y=y \right]\)，但关键是我们*不*通过重建 \(x\) 来估计这个期望。相反，\(f_{\theta}^{\text{ssi}}\) 仅从 \(y\) 中判别式地学习，吸收必要的归纳偏置（例如词汇波动性、风格漂移、流畅/一致性线索）以从带标签的示例中逼近 \(f^{\star}\)。关于同质性与异质性混合检测公式准确差异的进一步讨论，请参见附录。

## 3 训练一个检测 AI 编辑的模型

请参见图注

**图 3：** EditLens 架构。我们为人类源文本生成完全 AI 和 AI 编辑过的版本，然后使用轻量级相似度指标作为中间监督。我们根据监督分数将文本划分为 \(n\) 个桶，并尝试训练一个回归模型和 \(n\) 路分类模型，然后使用加权平均解码获得数值分数。

### 3.1 创建同质性混合文本数据集

由于目前不存在*大规模*的同质性混合 AI 生成文本数据集，我们为此任务创建了一个训练集。我们首先收集一个由完全人类撰写和完全 AI 生成的文本组成的源数据集。我们选择 2022 年大语言模型发布之前的人类撰写文本，涵盖 4 个领域：来自 Amazon（Zhang 等，2015）和 Google（Li 等，2022）的评论、来自 Reddit Writing Prompts（Fan 等，2018）的创意写作样本、来自 FineWeb-EDU（Lozhkov 等，2024）的通识教育网络文章，以及来自 XSum（Narayan 等，2018）和 CNN/DailyMail（See 等，2017）的新闻文章。作为衡量分布外性能的留出域，我们还包含了 Enron 电子邮件数据集（Cohen，2015）。然后，我们按照 Emi & Spero（2024）引入的合成镜像程序，为每个人类示例生成一个对应的 AI 示例。我们使用了 GPT-4.1、Claude 4 Sonnet 和 Gemini 2.5 Flash。我们还包含了 Llama-3.3-70B-Instruct-Turbo 作为留出 LLM，以衡量在分布外 LLM 上的性能。最终训练集、测试集和验证集分别包含 60k、6k 和 2.4k 个示例。创建此数据集的成本估计约为 530 美元。额外的数据集汇总统计信息可在表 10、11、12、13 和 14 中找到。

### 3.2 编辑提示

我们首先通过提示 ChatGPT 4o、Claude Sonnet 4 和 Gemini 2.5 Pro 收集了一组编辑提示，然后添加了少量作者自行编写的提示。总共收集了 303 个编辑提示。提示的完整列表以及关于类别和贡献者的汇总统计信息可在表 LABEL:tab:editing_prompts 和 9 中找到。虽然这个提示列表并非详尽无遗，但它涵盖了人们使用 AI 编辑文本的不同方式的重要部分。我们将此提示列表分为训练集、测试集和验证集，以使模型无法过度拟合特定提示集。

### 3.3 中间监督指标

我们尝试了两种方法来标注 AI 编辑前后文本“差异” \(\Delta(x,y)\)。第一种是源文本与 AI 编辑版本之间的 Linq-Embed-Mistral（Choi 等，2024）嵌入的余弦距离（1 - 余弦相似度）。我们选择该嵌入是因为它在多个领域和编辑类型上表现强劲。