DE-Venus：面向大型语言模型的数据高效RLVR框架

# DE-Venus：面向大语言模型的高效数据利用强化学习可验证奖励框架
**来源：** [https://arxiv.org/html/2609.03324](https://arxiv.org/html/2609.03324)
¹浙江大学 ²蚂蚁集团 ³香港浸会大学 ⁴南洋理工大学 ⁵东南大学
\\contribution[*]同等贡献 \\contribution[‡]通讯作者 \\addsecondlogo[0.95cm]assets/zjulogo.png
朱广成 唐凯 臧正青 郑行 王浩博 马英帆 宋博文 韩博 安波 冯磊 王卫强 赵俊波 陈刚

## 摘要
基于可验证奖励的强化学习能提升大语言模型的推理能力，但其实际应用受限于昂贵的在线策略采样以及获取大规模可靠目标样本的成本。现有方法分别处理样本选择、不完整监督或噪声标签问题，常常将监督逻辑与分布式训练混杂，阻碍了可控比较与方法复用。本文提出DE-Venus，一个统一的高效数据利用强化学习可验证奖励框架，将监督视为横跨数据准备与策略优化的演进状态。该框架将其生命周期组织为三个模块：**主动数据选择**负责分配训练与标注预算；**弱监督构建**从无标签样本中提取学习信号；**训练时监督精炼**过滤或修正不可靠的监督信息。DE-Venus通过将方法特定的决策表达为离线数据集转换或在线目标、奖励、批次及优势函数的变换，同时保留verl分布式执行契约，支持七种代表性方法和一个数据选择流程。在公开基准测试和三个业务场景中，独立配置仅需10%的标签或13%的相关数据即可保持或提升模型质量；所选业务配置还能将收敛步骤减少63%–75%。因此，DE-Venus在保持可扩展强化学习执行的同时，显著降低了标注和训练成本。

## 1 引言
基于可验证奖励的强化学习已成为提升大语言模型推理能力的主流范式。给定一个问题，当前策略采样多个推理轨迹，结果验证器评估其最终答案，随后策略优化器（如群组相对策略优化）强化在群组中表现优于其他的回复。该循环在数学、代码及相关推理任务中取得了显著成效。然而，其有效性建立在假设每个训练问题都需要重复的采样计算，并配有一个可靠、易于验证的目标。这些假设在大规模应用时难以维持。在线策略强化学习会反复产生生成和优化成本，即使是已掌握、难解或不太可能产生有价值奖励变化的问题也是如此。近期研究表明，控制样本难度和效用能显著影响优化效率。参考答案的构建成本高昂，基于参考的验证器本身也可能不完善；在需要稀缺专业知识的专门领域，这一瓶颈更为突出。因此，强化学习的数据效率并非仅仅缩减训练集规模的问题，而是关乎整个监督生命周期：**哪些**问题应进入训练，**哪些**需要外部标注，**如何**让无标签问题提供有用学习信号，以及**何时**应过滤或修复不可靠的监督。先前工作仅关注该生命周期的单个阶段。数据选择方法通过已验证的难度、不确定性或学习动态识别有信息量的样本。无监督和无标签方法用从采样一致性、熵、自确定性或自对弈中得到的信号替代外部目标。半监督方法使用一小部分可信子集来评估在更大无标签池上构建的监督，而噪声标签方法则利用策略生成的证据来诊断或修正有疑问的目标。尽管这些方向互补，其实现仍然碎片化。新方法常以独立流水线或重写采样-更新循环的训练器分支形式出现。数据规范、奖励放置、过滤、状态管理和执行方式的差异与算法纠缠，使忠实复现、可控比较和跨监督设置迁移变得复杂。我们提出DE-Venus，一个用于大语言模型推理的高效数据利用强化学习统一框架。其核心抽象将监督视为一种演进状态，其来源、可靠性和持续性可能从数据准备到策略优化发生变化。因此，DE-Venus将**监督如何选择、构建和修正**与**分布式强化学习如何执行**分离。它保留verl作为采样生成、优化、验证和检查点的执行基底，同时将方法特定决策定位到监督语义发生变化的点：训练前通过数据选择，训练中通过监督构建或可靠性感知更新，以及回合间通过持久数据集转换。这种保留契约、“最小侵入”的设计允许异构方法共享一个可扩展的后端，而不扁平化其独特的学习目标。DE-Venus将监督生命周期组织为三个互补模块。**主动数据选择**通过决定保留、外部标注或路由至弱监督的样本来分配训练和标注预算；其实现已验证难度过滤、模型衍生不确定性和探针校准选择。**弱监督构建**使无标签样本能参与强化学习，通过推断伪目标、强制跨视角一致性或分配无目标奖励，涵盖TTRL、Co-Rewarding、EMRL和Intuitor。**训练时监督精炼**利用奖励动态、表示几何和采样证据重新评估已构建或现有的监督，支持TraPO、GeoMin和在线标签修正。这些模块识别出不同的干预点，而非强制性连续阶段，因此每个实验仅激活其监督设置所需的机制。该框架在数据和执行边界提供通用抽象。共享的Parquet规范记录持久身份和监督状态，而verl兼容的批次在在线优化过程中携带目标、奖励、对齐选择和优势函数。可复用服务提供投票、验证、不确定性估计、奖励构建、证据分析和验证日志。配置驱动的调度在不引入第二个后端的情况下暴露方法特定选择，允许将新的监督规则局部化，而非重建分布式采样、优化和评估。我们的贡献总结如下：
- 我们将高效数据利用的强化学习构建为一个统一的监督生命周期，涵盖主动数据选择、弱监督构建和训练时监督精炼。
- 我们开发了DE-Venus，一个基于verl、保留契约的框架，在保留通用可扩展执行后端的同时，将监督特定干预局部化。
- 我们为七种代表性方法和一个主动数据选择流程提供了可复现的实现和工作流，并在公开推理基准测试和三个业务场景中进行了评估。在标准数学和通用推理基准测试中，DE-Venus配置仅使用10%的标签或57.9%的训练数据（含29.3%的标注）即超越了全监督参考基线。更重要的是，业务场景展示了超越受控基准测试的实际收益。在固定的500标签预算下，可靠性感知的弱监督将归一化信用分配指标提高了多达14分。基于轨迹的过滤移除了28%的医疗共情训练样本，同时与全数据训练的差距保持在1.9分以内。对于内在安全训练，仅保留13%–30.7%的相关源数据即可保持核心安全指标，将所选能力提升多达6.7%，并将观察到的收敛步骤减少63%–75%。这些结果表明，DE-Venus可以在实际应用中减少标注需求、训练量和迭代时间，同时保持或提升模型质量。
代码可通过 [https://github.com/ZJU-DIG/DE-Venus](https://github.com/ZJU-DIG/DE-Venus) 获取。

图1：DE-Venus架构。三个监督模块共享一个通用编排层，并通过原生契约与verl交互。虚线路径表示跨运行的持久Parquet转换。

## 2 设计与实现
DE-Venus在监督不完整、不可用或不可靠时，为高效数据利用的强化学习提供统一系统。DE-Venus并非将标签或奖励视为训练样本的不可变属性，而是将监督建模为一种状态，其内容、置信度和持续性可能从数据准备到策略优化发生演变。这种抽象产生了三个互补的干预模块。**主动数据选择**确定在优化前应保留、弱监督或标注哪些样本。**弱监督构建**将模型生成的证据转化为无可靠答案样本的伪目标或无目标奖励。**训练时监督精炼**利用奖励动态、表示几何和采样证据重新评估已构建或现有的监督。它们的顺序遵循监督生命周期，但并非强制性连续阶段：每个实验仅激活其监督设置所需的干预。DE-Venus的系统贡献是一个监督控制平面，它横跨这三个干预点而不替换分布式强化学习运行时。DE-Venus负责实验级调度、方法局部监督变换、证据和来源管理以及持久数据集转换。verl继续负责数据传输、采样执行、分布式模型计算、优化、验证和检查点服务。因此，最小侵入并非意味着每个方法都能表达为一个微小回调。而是意味着即使方法特化了控制流，它也保留底层运行时的依赖方向和数据契约。

### 2.1 设计原则
DE-Venus遵循四个原则，将监督生命周期转化为可复用的系统抽象。
##### 将监督语义与分布式执行解耦。
构建伪目标、分配内在奖励、接纳可靠的轨迹群组或提出标签修正都是方法级决策。模型放置、采样生成、分布式前向与反向计算、优化和检查点是后端职责。DE-Venus仅在监督被解释或使用的地方引入控制逻辑，并将相应的系统操作委托给verl。
##### 在干预点保留原生契约。
最小侵入通过保留接口而非强制每个方法使用同一回调来实现。在线方法将其决策具体化为目标、令牌级奖励、对齐的DataProto选择或下游verl组件已理解的优势函数。离线选择、提升和重标记生成RLHFDataset兼容的Parquet数据集，而方法特定的证据和来源保持为单独的产物。未引入第二个工作者协议、数据表示或优化后端。
##### 明确监督的生命周期。
一个监督决策可能局限于一个优化步骤，也可能在训练回合间持续存在。步骤局部决策在内存中替换目标或奖励、过滤采样群组或变换优势函数。持久决策选择样本、提升无标签样本或在版本化数据集中修正不可靠的目标。分离这些生命周期可防止瞬时采样证据静默地改变持久监督，并使所有跨回合的变更可审计。
##### 控制实验变量。
Hydra配置和启动流程在暴露方法选择的同时保留共享执行环境。只要算法要求允许，方法使用相同的模型、数据集加载器、采样引擎、GRPO实现、资源分配、日志记录、验证和检查点路径。该架构不要求相同的控制流；它限制基础设施层面的混杂因素，使比较主要反映监督策略的差异。

### 2.2 架构概述
图1将DE-Venus组织为四个功能带和三个所有权领域。**实验接口**通过Hydra配置、启动流程和训练Parquet数据集指定可复现的运行。中间的两个带构成DE-Venus核心。