LA-RL：面向信息抽取强化学习的标签感知自我反思

# LA-RL: 面向信息抽取中强化学习的标签感知自反思  
来源: https://arxiv.org/html/2607.23420  

游晓1，严天伟2，单子旭1，杜龙宇1，赵山1  
1 合肥工业大学，合肥，中国  
2 重庆交通大学，重庆，中国  

###### 摘要  

大型语言模型在信息抽取 (IE) 方面展现出巨大潜力，但现有的基于反思的纠正方法往往与结构化抽取输出不一致。自由形式的自反思可以标记错误，但很少能识别失败是缺失跨度、错误标签、边界不匹配、无效关系类型还是参数顺序颠倒。我们引入了 LA-RL（标签感知反思性强化学习），这是一个基于结果监督的框架，通过任务基础诊断标签指导 IE 自纠正。单个主干网络首先预测抽取结果，诊断任务特定的错误标签，然后根据诊断结果修正其输出。训练从由注释模型标记的诊断数据开始，用于冷启动监督微调，然后经过两个 GRPO 阶段，奖励最终抽取质量、格式有效性和首次通过正确性，无需过程奖励模型。在命名实体识别、关系抽取和事件抽取上的实验表明，与 SFT 相比，在相同主干网络上取得了一致的性能提升：SciER 关系抽取 F1 平均提升 6.83，分布外关系抽取 F1 提升约 20，DuEE1.0 触发词 F1 提升 14.80、论元 F1 提升 17.50。消融实验表明，反思结构对任务敏感：更强的约束有利于关系抽取，而命名实体识别在领域偏移下需要更宽松的修正。

# LA-RL: 面向信息抽取中强化学习的标签感知自反思  

游晓1，严天伟2，单子旭1，杜龙宇1，赵山1  
1 合肥工业大学，合肥，中国  
2 重庆交通大学，重庆，中国  

## 1 引言  

大型语言模型在开放式推理方面取得了快速进展，从思维链提示到基于可验证奖励的强化学习，但一个更隐蔽的失败依然存在：它们在可靠地从文本中抽取结构化事实方面仍然困难重重。当要求识别句子中的实体、关系或事件时，即使是能力强大的模型也会产生系统性的、反复出现的错误：缺失跨度、错误标签、边界不匹配和参数顺序颠倒。与自由形式生成不同，在不完美的答案可能仍然有用的情况下，信息抽取 (IE) 要求输出同时忠实于输入文本并符合预定义模式。这种双重约束使 IE 成为结构化生成的一个揭示性压力测试，也是一个自然的环境，可以提出以下问题：模型不仅能检测到其抽取是错误的，还能识别出它犯了哪种错误，并利用该诊断进行自我纠正吗？

参见图注  
图1：关系抽取示例，说明为何自由形式反思对 IE 可能不足。标准 LLM 输出包含关系类型、边界、参数顺序和缺失关系错误；启用自由形式思考只能修复部分输出。相比之下，LA-RL 通过任务基础标签明确诊断这些错误，并利用它们指导有针对性的修正。

反思和自我纠正已被广泛研究作为改进 LLM 输出的机制。基于提示的方法鼓励模型在回答前产生自由形式推理（Wei 等，2022 (https://arxiv.org/html/2607.23420#bib.bib169)；Shinn 和 others，2023 (https://arxiv.org/html/2607.23420#bib.bib5)；Madaan 和 others，2023 (https://arxiv.org/html/2607.23420#bib.bib4)），而基于训练的方法使用结果或过程奖励通过强化学习培养推理行为（Lightman 等，2023 (https://arxiv.org/html/2607.23420#bib.bib6)；Jaech 等，2024 (https://arxiv.org/html/2607.23420#bib.bib166)；El-Kishky 等，2025 (https://arxiv.org/html/2607.23420#bib.bib165)）。尽管它们在数学推理和代码生成方面取得了成功，但这些方法共享一个共同假设：反思最好表达为无约束的自然语言。对于结构化 IE，这个假设是有局限性的。自由形式推理可能指出抽取的三元组“有问题”，但很少能精确定位失败是缺失关系、错误实体边界还是参数顺序颠倒。没有这种诊断精度，模型只能猜测修复方式，而修正步骤变得不可靠。

IE 提供了一个独特的机会，可以超越自由形式反思。由于其输出遵循显式模式，IE 错误不是随机的，而是系统性的且可命名的，如 (Wei 等，2023 (https://arxiv.org/html/2607.23420#bib.bib71)；Xu 等，2023 (https://arxiv.org/html/2607.23420#bib.bib47)) 所示。图1 (https://arxiv.org/html/2607.23420#S1.F1) 具体说明了这一点。标准 LLM 产生了无效关系类型 (“from”)，将 “Benjamin Raich” 截断为 “Benjamin”，颠倒了 \[“Italy”，“nationality”，“Giorgio Rocca”\] 中的参数，并完全遗漏了两个国籍关系。启用自由形式思维链纠正了边界错误，但未触及颠倒的关系。更深层次的问题是结构性的：模型感觉到其输出不完美，但缺乏针对要修复哪个错误的机制——无效类型、颠倒参数、边界不匹配还是缺失关系。相比之下，诊断标签使修复目标明确：修复关系类型、交换参数、扩展实体边界、添加缺失关系。这一观察激励了我们工作的核心问题：**IE 自纠正能否组织为标签引导的诊断和修正，而不是自由形式的文本生成？** 

我们用 **LA-RL**（标签感知反思性强化学习）来回答这个问题，这是一个通过离散的、任务基础的诊断状态来结构化反思的框架。LA-RL 不是生成开放式推理，而是在首次抽取和最终修正之间插入一个诊断步骤：模型首先预测抽取结果，从预定义的任务特定集合中诊断一个或多个错误标签（例如，缺失关系、错误实体边界、实体颠倒），然后根据该诊断修正其输出。训练分三个阶段进行：（1）在由注释模型构建的诊断数据上进行冷启动监督微调，该注释模型标记基础抽取器产生的错误；（2）一个面向反思的 GRPO 阶段，奖励最终抽取质量和格式有效性；（3）一个直接推理增强阶段，额外奖励首次通过质量，鼓励模型尽早正确解决，同时保留诊断纠正路径。LA-RL 不训练单独的过程奖励模型；所有奖励都是基于结果的，直接从抽取指标计算得出。

我们在 SciER (Zhang 等，2024 (https://arxiv.org/html/2607.23420#bib.bib1))、OOD RE 数据集和 DuEE1.0 (Li 等，2020 (https://arxiv.org/html/2607.23420#bib.bib2)) 上使用 Qwen2.5-7B-Instruct 评估 LA-RL。LA-RL 一致优于相同主干网络的基线：SciER RE F1 提升 6.83，OOD RE F1 提升 ∼20，DuEE1.0 触发词/论元 F1 提升 14.80/17.50。对通用反思、仅标签修正和 LA-RL 的消融表明，反思结构对任务敏感：RE 随着约束增强而单调提升，而 NER 在领域偏移下相比仅标签修正没有进一步获益。因此，反思结构应与任务错误复杂性相匹配，而不是统一应用。

#### 贡献。  
- • **LA-RL**，一个用于结构化 IE 自纠正的标签感知反思性 RL 框架。LA-RL 不依赖自由形式推理，而是在首次抽取和最终修正之间插入一个离散诊断状态，通过结果监督的 GRPO 进行端到端训练。  
- • **两阶段 RL 训练范式**。除了传统的 SFT 冷启动后接单一直接 RL 阶段外，LA-RL 将强化学习分解为面向反思的优化和直接推理增强，表明分阶段 RL 能带来稳定且累积的提升。  
- • **强大的经验性收益**。在相同的 Qwen2.5-7B-Instruct 主干网络下，LA-RL 在 SciER RE 上获得 +6.83 F1，在 OOD RE 上获得 +∼20 F1，在 DuEE1.0 上获得 +14.80/17.50 触发词/论元 F1，优于 SFT、GRPO 和 R2GRPO。

## 2 任务形式化  

给定输入句子 \(X=(x_1,x_2,\cdots,x_l)\)，信息抽取的目标是生成结构化输出 \(Y\)，捕获文本中表达的任务相关事实。根据任务不同，\(Y\) 可以表示实体跨度及其类型、实体间的关系，或由触发词和论元组成的事件结构。对于命名实体识别 (NER)，目标输出是一组带类型的跨度 \(Y_{\text{NER}}=\{(e,t)\}\)，其中 \(e\) 表示句子中的实体跨度，\(t\in\mathcal{T}\) 是其实体类型。对于关系抽取 (RE)，目标输出是一组结构化的三元组 \(Y_{\text{RE}}=\{(e_1,r,e_2)\}\)，其中 \(r\in\mathcal{R}\) 是关系类型，\(e_1,e_2\) 是其参数。对于事件抽取 (EE)，目标输出是一组事件结构 \(Y_{\text{EE}}=\{(g,c,A)\}\)，其中 \(g\) 是事件触发词，\(c\in\mathcal{C}\) 是事件类型，\(A=\{(a_i,\rho_i)\}_{i=1}^m\) 包含论元跨度 \(a_i\) 及其角色 \(\rho_i\)。

我们将所有这些 IE 任务形式化为约束文本生成。给定任务指令 \(\mathcal{I}\) 和输入句子 \(X\)，模型以预定义格式生成任务特定的结构化输出 \(Y\)。在此形式化下，不同的 IE 任务共享相同的高层推理过程，仅在输出模式和评估标准上有所不同。这种统一形式化支持了 LA-RL：由于结构化输出可以被检查细粒度错误，任务特定的诊断标签可以组织反思。在我们的实验中，NER、RE 和 EE 在输出格式、错误标签和奖励信号上有所不同。

## 3 面向强化学习的标签感知自反思  

LA-RL 通过在首次抽取和修正抽取之间插入一个基于任务的诊断状态来实例化结构化反思。诊断状态是一组离散的错误标签，例如缺失实体、错误边界、缺失关系或参数颠倒，而不是无约束的自然语言推理。我们分两个阶段训练这种行为：首先构建带标签注释的错误数据进行冷启动 SFT，然后应用两阶段基于结果的监督强化学习。诊断标签可以解释为一种结构化的反思空间，但在此处它们被用作标准序列生成策略中的中间表示，而不是一个新的 RL 问题形式化。

参见图注  
图2：LA-RL 概述。首次抽取之后是一个基于任务的诊断状态，该状态在最终修正之前对反思步骤进行结构化。

### 3.1 阶段 1：诊断数据构建  

如算法1 (https://arxiv.org/html/2607.23420#alg1) 所述，为了构建诊断监督，我们对结构化 IE 任务使用两步推理流水线。第一步，我们为目标任务制定标准化的指令式提示，并应用 Qwen2.5-7B-Instruct 对原始文本进行直接推理，获得初始结构化预测。由于模型尚未适应任务，生成的输出包含许多错误实例。这些错误为定义基于任务的诊断状态提供了原材料。第二步，我们将每个输入实例、其 gold 输出以及相应的初始预测输入到一个更大的语言模型 DeepSeek-V3 中。注释器将初始预测与 gold 输出进行比较，并以结构化格式从预定义的错误集中返回一个或多个标签。由于单个预测可能同时包含多个结构性错误，我们允许注释器输出一个错误标签集，而不是强制使用单一主导标签。所得数据集包含输入实例、gold 输出、初始预测和诊断标签集，这支持了从诊断到修正模式的冷启动学习。

**算法 1** 诊断错误标签生成  
1: 训练集 \(\mathcal{D}_{\mathrm{train}}=\{(x_i,y_i)\}_{i=1}^N\)  
2: 基础 IE 模型 \(\mathcal{M}_{\mathrm{base}}\)，注释器模型 \(\mathcal{M}_{\mathrm{anno}}\)  
3: 错误类型集 \(\mathcal{E}\)  
4: 诊断训练集 \(\mathcal{D}_{\mathrm{diag}}\)  
5: 初始化 \(\mathcal{D}_{\mathrm{diag}} \leftarrow \emptyset\)  
6: **对于** 每个 \((x_i,y_i) \in \mathcal{D}_{\mathrm{train}}\) **执行**  
7:   \(\hat{y}_i \leftarrow \mathcal{M}_{\mathrm{base}}(x_i)\)  ▷ 初始预测  
8:   **如果** \(\hat{y}_i \neq y_i\) **则**  
9:     \(\mathcal{E}_i \leftarrow \mathcal{M}_{\mathrm{anno}}(x_i, y_i, \hat{y}_i, \mathcal{E})\)  ▷ 标签集  
10:    \(\mathcal{D}_{\mathrm{diag}} \leftarrow \mathcal{D}_{\mathrm{diag}} \cup \{(x_i, y_i, \hat{y}_i, \mathcal{E}_i)\}\)  
11:   **结束如果**  
12: **结束循环**  
**返回** \(\mathcal{D}_{\mathrm{diag}}\)

### 3.2 阶段 2：基于结果的反思性 RL  

构建诊断监督后，我们分两个顺序阶段优化策略，这两个阶段对应于图2 (https://arxiv.org/html/2607.23420#S3.F2) 中的能力导向模块。第一阶段提升模型的**反思能力**：模型学习诊断抽取错误，并使用诊断标签修正最终答案。第二阶段提升模型的**综合能力**：模型学习将更强的首次抽取与相同的诊断纠正路径结合起来。两个阶段都使用基于抽取质量和格式有效性的结果奖励；不训练过程奖励模型。

#### 阶段 I：提升反思能力。  

我们从基于诊断数据的 SFT 冷启动初始化 LA-RL。这种初始化缓解了奖励稀疏性，并使模型具备基本能力，能够将抽取错误映射到一个或多个诊断标签，并在显式监督下修正自身预测。从此检查点开始，我们进行 GRPO 训练，奖励强调诊断修正后最终结构化答案的质量。在此阶段，奖励仅在最终答案处评估：首次推理输出和中间诊断标签不直接获得奖励。具体来说，令 \(r_{\mathrm{ner}}\) 和 \(r_{\mathrm{re}}\) 表示最终预测的 NER 和 RE F1 分数，\(r_{\mathrm{fmt}}\) 表示格式奖励。我们首先将任务奖励定义为  
\[
r_{\mathrm{task}} = \lambda_{\mathrm{ner}} r_{\mathrm{ner}} + \lambda_{\mathrm{re}} r_{\mathrm{re}},
\]
其中 \((\lambda_{\mathrm{ner}}, \lambda_{\mathrm{re}}) = (1.0, 2.0)\)。则阶段 I 奖励为  
\[
r_{\mathrm{I}} = r_{\mathrm{task}} + \lambda_{\mathrm{fmt}} r_{\mathrm{fmt}},
\]
其中 \(\lambda_{\mathrm{fmt}} = 0.5\)。此阶段主要训练模型使用诊断