RE-AD：数据标注的实时需求遵循

# RE-AD：数据标注的实时需求遵循

来源：https://arxiv.org/html/2607.20455

Siddarth Malreddy, Ishan Nigam, Akshay Arora, Nikhil Mittal, Subrat Sahu Uber AI Solutions \{smalreddy, ishann, akshay\.arora, nikhil\.mittal, subrat\.sahu\}@uber\.com

###### 摘要

人工标注的数据仍然是训练前沿大语言模型（LLMs）的基础。然而，众包标注常常因标注者误解或参与度不足而导致质量问题。为了解决此问题，我们引入了一个实时需求遵循（RE-AD）框架，利用LLMs主动验证标签质量。我们的方法包括通过自我反思将标准操作程序（SOPs）分解为原子规则，按复杂度进行分类，并应用分层验证策略。在合成基准上评估，该系统实现了0.749的F1分数。此外，生产部署导致标注者接受并修复了框架标记的82%的错误。我们通过消融研究展示了核心设计决策的影响。

RE-AD：数据标注的实时需求遵循

Siddarth Malreddy, Ishan Nigam, Akshay Arora, Nikhil Mittal, Subrat Sahu Uber AI Solutions \{smalreddy, ishann, akshay\.arora, nikhil\.mittal, subrat\.sahu\}@uber\.com

## 1 引言

高质量的标注数据是监督机器学习的基石（Pustejovsky and Stubbs, 2012 (https://arxiv.org/html/2607.20455#bib.bib9)），然而维持严格的标注质量仍然是一个持续的瓶颈。传统的质量保证（QA）方法主要依赖事后评估，例如标注者间一致性指标（Artstein and Poesio, 2008 (https://arxiv.org/html/2607.20455#bib.bib1)）或专家抽查（Snow et al., 2008 (https://arxiv.org/html/2607.20455#bib.bib12)）。这些方法本质上是反应性的：只有在数据收集周期完成后才能识别错误，从而需要进行昂贵且耗时的返工。

在专业领域，标注者必须遵循多方面的标准操作程序（SOPs），挑战更加严峻。这些指南通常包含一系列异质约束，从严格的结构格式到复杂的高层语言属性。在此类环境中，人类标注者的认知负荷增加了“需求漂移”的可能性，即在生成过程中忽略细微的指南。

参见图例 图1: (a) 传统数据标注流水线：传统QA依赖事后审计，只有在数据收集周期完成后才能识别错误，并且需要耗时的返工。这实际上将质量控制与数据来源点解耦，并使标注者陷入被动循环。(b) RE-AD框架：将质量控制转变为主动协助模型，通过将指南原子化为三个复杂度感知层级（\(T_{fmt}\)、\(T_{sim}\)、\(T_{sub}\)）在2.3秒内提供实时反馈。生产结果显示82%的接受和修复率，在最终审计前有效防止需求漂移。大语言模型（LLMs）的最新进展在指令遵循（Ouyang et al., 2022 (https://arxiv.org/html/2607.20455#bib.bib8)）和复杂推理（Xie et al., 2024 (https://arxiv.org/html/2607.20455#bib.bib15)）方面展现出卓越能力。尽管大量研究集中在使用LLMs作为主要标注者（Gilardi et al., 2023 (https://arxiv.org/html/2607.20455#bib.bib2); He et al., 2024 (https://arxiv.org/html/2607.20455#bib.bib3)）或作为“事后评判员”（Zheng et al., 2023 (https://arxiv.org/html/2607.20455#bib.bib18)），但它们在人类标注循环中进行主动验证的潜力仍未充分探索。

在这项工作中，我们引入了RE-AD（需求遵循）框架用于实时需求遵循，将质量控制从被动审计转变为主动协助模型（图1 (https://arxiv.org/html/2607.20455#S1.F1)）。我们的系统自动将复杂指南原子化为一个可验证约束的层次结构，并采用复杂度感知路由架构在人类输入生成时进行验证。这确保标注者获得即时反馈，在数据到达最终审计阶段前降低错误率。该系统由两个主要组件组成：离线约束原子化流水线（图2 (https://arxiv.org/html/2607.20455#S3.F2)）和在线、复杂度感知验证引擎（图3 (https://arxiv.org/html/2607.20455#S3.F3)）。我们的贡献如下：

- • 递归约束原子化：一种自我反思方法，将非结构化指南分解为可验证规则，并分类为三层复杂度层次结构。
- • 复杂度感知验证流水线：一个生产就绪的架构，利用并行逐规则验证、前缀缓存和自适应模型路由（涵盖确定性代码到高推理LLMs），以平衡评估准确性与延迟。
- • 系统性评估：基于新型合成基准（含受控违规注入）的实证分析，以及比较原子逐规则验证与整体批量处理的消融研究。
- • 影响分析：大规模生产部署结果显示，框架标记的错误中82%被接受。

## 2 相关工作

##### 标注质量保证

传统维护标注质量的方法历来依赖事后评估。这些包括标注者间一致性（IAA）指标，如Cohen’s Kappa或Krippendorff’s Alpha（Artstein and Poesio, 2008 (https://arxiv.org/html/2607.20455#bib.bib1)）、专家金标准比较和冗余标注策略（Snow et al., 2008 (https://arxiv.org/html/2607.20455#bib.bib12)）。尽管主动学习（Settles, 2009 (https://arxiv.org/html/2607.20455#bib.bib11)）和人在回路中（HITL）系统（Mosqueira-Rey et al., 2023 (https://arxiv.org/html/2607.20455#bib.bib7)）等框架提高了数据效率，但它们本质上仍是反应性的，只在标注周期完成后识别错误。

##### LLM-as-a-Judge

LLMs的出现改变了评估格局。“LLM-as-a-judge”范式（Zheng et al., 2023 (https://arxiv.org/html/2607.20455#bib.bib18)）已经证明，高参数模型可以有效验证输出是否符合复杂、结构化的需求。近期工作通过使用自我反思（Ji et al., 2023 (https://arxiv.org/html/2607.20455#bib.bib4); Madaan et al., 2023 (https://arxiv.org/html/2607.20455#bib.bib6)）和自一致性（Wang et al., 2023 (https://arxiv.org/html/2607.20455#bib.bib13)）等技术探索了这些自动评判器的可靠性。我们的工作建立在这些基础之上，并将这些技术应用于实时人在回路验证，而不是静态模型评估。

##### 约束生成与验证

验证对标准操作程序（SOPs）的遵循是一种约束生成形式。尽管大量文献关注带有约束的解码（lu2020constrained），但较少关注任意自然语言指南的验证。近期关于LLM评估的综述（gu2024survey）强调了评估“长尾”主观约束的难度。我们的分层架构通过将验证方法的复杂度与约束类型匹配来解决此问题，这一策略在现有数据标注工作流文献中很少见。

## 3 方法

RE-AD旨在为标注者提供关于复杂语言约束的实时反馈。该系统包含两个不同阶段：(1) 约束原子化，其中非结构化指南被原子化为机器可验证的模式（第3.1节），以及 (2) 分层验证架构，其中规则通过复杂度感知的分层路由逻辑执行（第3.2节）。

### 3.1 约束原子化

参见图例 图2: 阶段1：递归约束原子化。该流水线展示了通过自我反思的LLM循环，将非结构化指南离线转换为正交的三层规则模式，确保每个约束都是原子且可验证的。第一阶段涉及将非结构化指南转换为机器可验证的模式。基于LLM自然语言理解的最新发现（Xie et al., 2024 (https://arxiv.org/html/2607.20455#bib.bib15)），我们采用自我反思分解策略来提取原子规则，如图2 (https://arxiv.org/html/2607.20455#S3.F2) 所示。

为了标准化不同的客户需求，我们首先将非结构化SOP（例如PDF、DOCX）转换为结构化Markdown，以保留层次关系。不是采用易导致信息丢失和幻觉的单次提取，而是由一个LLM代理迭代识别候选规则。对于每个候选规则，二次反思步骤（Ji et al., 2023 (https://arxiv.org/html/2607.20455#bib.bib4)）验证原子性（确保规则只包含一个逻辑约束）和正交性（确保与现有规则没有语义重叠）。未通过这些标准的规则会递归分解或合并。经验上，我们发现原子化过程是稳定的，对同一SOP多次运行，规则组成的变化小于5%。

经过验证的规则映射到三层层次结构。表1 (https://arxiv.org/html/2607.20455#S3.T1) 展示了从对话生成SOP中提取的代表性规则集。

表1: 使用我们的递归反思流水线从工业SOP中提取的原子规则示例。规则分为三层复杂度层次结构（\(T_{fmt}\)到\(T_{sub}\)），这决定了下游验证策略：对于\(T_{fmt}\)使用确定性脚本，对于\(T_{sim}\)和\(T_{sub}\)使用分层LLM路由。
### 3.2 分层验证架构

RE-AD框架的核心是一个并行的、复杂度感知的验证引擎（图3 (https://arxiv.org/html/2607.20455#S3.F3)）。该系统不是针对一个整体提示评估提交（这会带来高延迟和潜在的“中间丢失”问题（liu2024lostinthemiddle）），而是跨表1 (https://arxiv.org/html/2607.20455#S3.T1) 中定义的层次结构并行执行验证。该架构利用现代LLM强大的指令遵循能力（Ouyang et al., 2022 (https://arxiv.org/html/2607.20455#bib.bib8)），提供细粒度的逐规则反馈。

参见图例 图3: 阶段2：分层并行验证架构。在线引擎利用前缀缓存层最小化延迟，并将人类输入并行路由到复杂度感知验证器（\(T_{fmt}\)、\(T_{sim}\)、\(T_{sub}\)）。结果被聚合以在标注界面内提供主动反馈。##### 确定性路由（\(T_{fmt}\)）

分类为格式化的约束（例如，字数或轮次限制）完全绕过LLM推理。基于混合标注系统的最佳实践（Xie et al., 2024 (https://arxiv.org/html/2607.20455#bib.bib15)），我们利用基于Python的正则表达式和字符串解析验证器，确保结构需求的100%精确率，同时减少验证周期的总令牌消耗。

##### 轻量级推理（\(T_{sim}\)）

对于简单的词汇约束（例如，关键词或问候语），我们将规则路由到高吞吐量的小参数模型（Gemini 3 Flash）。这些检查依赖零样本提示，因为模型的主要任务是模式匹配而非深度语义推理。

##### 重推理路由（\(T_{sub}\)）

主观规则（例如，语气遵循）被路由到高容量模型（Gemini 3 Pro）。为了确保这些“灰色地带”判断的可靠性，我们实现了思维链（CoT）提示，促使模型在输出二元通过/失败结果前生成简短理由（Wei et al., 2022 (https://arxiv.org/html/2607.20455#bib.bib14)）。

##### 低延迟优化

为了满足实时标注界面的需求，我们利用前缀缓存。通过缓存系统提示和原子化的SOP规则，系统在每个验证周期只处理新生成的轮次。这减少了首令牌时间（TTFT），并为人类标注者维持了无缝的反馈循环。

## 4 评估

我们通过双管齐下的方法评估RE-AD框架，重点关注受控准确性和生产规模实用性。首先，我们描述RE-AD-Eval的构建，这是一个合成基准，旨在量化我们三个复杂度层级（\(T_{fmt}\)、\(T_{sim}\)、\(T_{sub}\)）及不同标注者技能水平下的验证可靠性（第4.1节）。其次，我们展示分层路由架构的性能分析，包括消融研究，突出验证粒度与系统延迟之间的权衡（第4.2节）。最后，我们报告大规模生产部署的结果，以衡量该框架在减少工业标注工作流中审计开销方面的实际影响（第4.3节）。

### 4.1 合成基准：RE-AD-Eval

我们构建一个具有已知地面真实标签的合成基准，以实现受控评估。该基准通过一个使用OpenAI模型进行合成的五阶段流水线生成，而我们的系统在评估中使用Gemini模型以防止模型偏差。

#### 4.1.1 SOP生成

一个LLM为对话数据收集任务生成一个包含20条规则的SOP，涵盖三个复杂度层级：格式化（\(T_{fmt}\)，8条规则）、简单（\(T_{sim}\)，5条规则）和主观（\(T_{sub}\)，7条规则）。该SOP旨在覆盖代表现实世界工业需求的多样化规则类型。

#### 4.1.2 场景多样化

为了确保广泛的对话覆盖范围并防止规则评估与主题熟悉度相混淆，我们生成多样化的场景元组。这些包括不同的参与者姓名、设置和对话目标，确保验证器的性能在异构上下文中得到测试。

#### 4.1.3 干净对话生成

对于每个场景，我们生成一个满足所有20条规则的基线“干净”对话。这些对话作为我们受控违规注入过程的黄金标准基础。

#### 4.1.4 带验证与修复的错误注入

定义了三个标注者角色（专家、中级、新手），具有层级特定的错误概率：\(T_{fmt}\)为5-25%，\(T_{sim}\)为8-35%，\(T_{sub}\)为12-50%。每个样本恰好接收一个注入的违规，以实现精确的逐规则归因。一个验证与修复循环（最多3次迭代）确认预期违规存在且未引入额外错误。虽然注入单个违规允许精确归因，但我们承认这是现实场景（标注者可能犯复合或级联错误）的简化。在评估期间，我们检查框架是否识别出注入的错误。

#### 4.1.5 混合地面真相

通过混合策略建立地面真相：对\(T_{fmt}\)使用确定性基于代码的检查，对\(T_{sim}\)和\(T_{sub}\)使用独立LLM验证。这确保了在结构和语义复杂度层级上可靠的地面真相。