评分标准作为开放式生成中的特权信息

# 作为开放域生成特权信息的评分规则

来源：https://arxiv.org/html/2608.02948

###### 摘要

同策略自蒸馏（OPSD）中，单个模型在不同上下文中同时充当学生和教师，这一方法在数学等可验证领域已展现出潜力，其中以真实答案形式存在的*硬*特权信息（PI）在结构上约束了合法的输出延续。我们将 OPSD 扩展至使用*软* PI 的开放域生成任务，这种软 PI 以评分规则的形式引导偏好，但同时允许大量有效回答。评分规则此前被用作强化学习（RL）的标量奖励；我们表明，当作为密集 PI 用于蒸馏时，它们能提供远比标量奖励更丰富的信号，并且与直觉相反，在该场景下，软评分规则 PI 在学生策略采样轨迹上提供的训练信号比硬参考完成答案 PI 更大、更有效。参考完成答案只是有效回答集合中的一个点，因此向它蒸馏会过度约束学生模型，而评分规则则刻画了该有效回答集合共享的偏好结构。我们在 Qwen 和 Llama 模型家族上展示了使用评分规则作为开放域生成 PI 的有效性，并表明其优于使用 HealthBench 的评分规则即奖励（RaR）RL 方法；HealthBench 是一个根据医生制定的评分规则对开放域健康回答进行评分的基准，它为开放域任务提供了密集的 token 级监督；RuPI 比 RaR RL 的绝对分数高出最多\+0.10\+0.10，并且在匹配的配方和 KL 方向下，其绝对分数在三个模型上比参考完成答案 PI 高出\+0.034\+0.034至\+0.079\+0.079。我们进一步表明，这些发现可以推广到在 RubricHub Science 语料库上训练并在 ResearchQA 上评估：软评分规则 PI 同时优于参考完成答案 PI 蒸馏和 RaR RL（66.6%66.6%对比64.2%64.2%和57.6%57.6%）。

## 作为开放域生成特权信息的评分规则

Deepika Bablani Ajay Gupta Wanming Chen
Apple
[email protected]

## 1 引言

近期由 Zhao 等人（2026 (https://arxiv.org/html/2608.02948#bib.bib3)）和 Shenfeld 等人（2026 (https://arxiv.org/html/2608.02948#bib.bib4)）提出的同策略自蒸馏（OPSD）表明，当模型以特权信息（PI）为条件时，它可以有效地充当自己的教师，从而能够利用同策略演示进行自蒸馏学习。通过最小化 token 分布之间的 KL 散度，学生模型内化了教师模型从 PI 中学到的知识，而无需在推理时获得这些信息。现有的 OPSD 方法针对数学和代码等*可验证*领域，教师模型以真实答案、经过验证的解决方案或专家演示等*硬* PI 为条件，这些信息在结构上约束了合法的输出延续。开放域生成任务（如长文问答、医疗咨询、创意写作等）缺乏此类可验证的 PI。对于此类开放域生成，目前的实践是训练专门的奖励模型（Ouyang 等人，2022 (https://arxiv.org/html/2608.02948#bib.bib19)），在强化学习循环中使用 LLM 作为评判者，或将评分规则用作 RL 的奖励。虽然评分规则作为奖励已显示出前景，但当前的方法将评分规则转换为标量奖励（评分规则即奖励；Gunjal 等人，2026 (https://arxiv.org/html/2608.02948#bib.bib5)；Liu 等人，2026 (https://arxiv.org/html/2608.02948#bib.bib6)），从而削弱了原始标准及其所编码信息的丰富性。我们转而提出评分规则作为 PI（RuPI），并使用以评分规则形式存在的*软* PI，将 OPSD 扩展至不可验证任务的开放域生成。我们表明，对于不可验证任务，以高质量评分规则为条件的教师模型比使用参考完成答案提供更强的学习信号。在未训练基座模型上的逐 token KL 诊断量化了这种差距：当在学生模型的同策略采样轨迹上评分时，以评分规则为条件产生的逐 token KL 是以参考完成答案为条件的 1.7×1.7\times 倍，这是一种更强的梯度信号（我们将在第 4.2 节 (https://arxiv.org/html/2608.02948#S4.SS2) 中阐述这一机制）。我们在 HealthBench 上通过两个模型家族进行的实验证明，使用评分规则作为特权信息（RuPI）显著优于参考完成答案 PI 蒸馏和 RaR GRPO；HealthBench 是一个根据高质量、医生制定的评分规则对开放域健康回答进行评分的基准，同时保持了通用能力（MMLU、GSM8K、IFEval、TruthfulQA）。为了证明这些发现的普遍性，我们在第二个领域重复了该研究：在 RubricHub（Li 等人，2026 (https://arxiv.org/html/2608.02948#bib.bib1)）的 Science 分割上训练，这是一个大规模的评分规则语料库，并在 ResearchQA（Yifei 等人，2026 (https://arxiv.org/html/2608.02948#bib.bib2)）上评估，我们表明 RuPI 优于参考完成答案 PI，并且密集蒸馏优于 RaR RL（第 5.5 节 (https://arxiv.org/html/2608.02948#S5.SS5)）。

## 2 背景

### 2.1 同策略自蒸馏

OPSD 训练学生策略以匹配教师分布，两者均源自同一个基座模型，但处于不同的条件之下。教师模型看到 PI，而学生模型看不到。经典知识蒸馏（Hinton 等人，2015 (https://arxiv.org/html/2608.02948#bib.bib10)；Kim and Rush, 2016 (https://arxiv.org/html/2608.02948#bib.bib11)；Sanh 等人，2019 (https://arxiv.org/html/2608.02948#bib.bib12)）在教师模型生成的固定序列上训练学生模型。相比之下，同策略蒸馏（Agarwal 等人，2024 (https://arxiv.org/html/2608.02948#bib.bib13)）在学生模型生成的内容上使用教师监督。这两种技术都需要一个单独的、通常能力更强的教师模型。OPSD 消除了对单独教师模型的需求，同时保留了知识蒸馏的密集逐 token 信号以及 OPD/RL 的同策略采样结构。训练目标是最小化教师和学生分布之间在学生模型同策略生成的回复 token 上的 KL 散度：

L=Ex∼D,y^∼πS(⋅∣x)\∑tD(πT(⋅∣x,PI,y^<t)∥πS(⋅∣x,y^<t))

其中 πT 是教师模型，πS 是学生模型，PI 是特权信息，y^ 是学生模型的同策略采样结果。梯度通过学生模型的采样分布传播，因此学生模型学习在*其自身*轨迹上模仿教师模型。

### 2.2 评分规则

评分规则是一组明确的、通常由领域专家制定的标准，用于评估一个回答的质量。与通常会挑出单个“正确答案”的参考完成答案不同，评分规则指定了一个偏好结构，它将整个高回答质量集合定义为良好。这种结构使其特别适合作为开放域生成任务的 PI，因为开放域任务由于定义上就没有唯一正确的答案。在本文中，我们使用由 Physicians 为 HealthBench 和 RubricHub 提供的评分规则作为软 PI。

### 2.3 开放域生成中的特权信息

最近的工作将 PI 应用于数学和代码等可验证领域，使用真实答案作为硬 PI。据我们所知，我们是第一个将基于评分规则的软 PI 用于开放域生成任务的 OPSD 蒸馏工作。

### 2.4 评分规则作为奖励

最近的强化学习（RL）工作探索了将评分规则用作奖励信号。Gunjal 等人（2026 (https://arxiv.org/html/2608.02948#bib.bib5)）提出了“评分规则即奖励”（RaR）——将 LLM 引导的评分规则评估转化为标量奖励，并使用 GRPO（Shao 等人，2025 (https://arxiv.org/html/2608.02948#bib.bib17)）优化策略。Liu 等人（2026 (https://arxiv.org/html/2608.02948#bib.bib6)）开发了一个流程，自动生成候选评分规则，然后使用树搜索选择最佳规则，以改进 RL 训练。虽然这些方法将评分规则用作奖励取得了成功，但它们将评分规则压缩成一个标量，丢弃了每个标准详细说明的细粒度信息。我们的方法不同：我们不将评分规则转化为奖励，而是使用评分规则作为条件，并直接从教师模型向学生模型蒸馏教师在评分规则条件下学到的分布。这保留了评分规则中丰富的逐 token 监督信号，区别于奖励 RL 中仅标量反馈的稀疏性。

## 3 方法

### 3.1 评分规则作为特权信息（RuPI）

我们提出了评分规则作为特权信息（RuPI）方法，将 OPSD 框架扩展到开放域生成。在 RuPI 中，教师模型以

πT(⋅∣x,PI)

为条件，其中 PI 是开放域生成任务的高质量评分规则。学生模型仅以查询为条件

πS(⋅∣x)

训练目标是最小化教师与学生模型在学生同策略生成轨迹上的 KL 散度，如式 (1) 中所述。

### 3.2 开放域生成 OPSD 的参考完成答案 PI 基线

为了模拟开放域生成中的硬 PI 基线，我们使用参考完成答案作为 PI 条件。参考完成答案是一个由人类或高级模型生成并注释在数据集中的高质量回答。我们将 OPSD 蒸馏与参考完成答案 PI（即“参考 PI”）进行对比，使用与 RuPI 完全相同的配方（相同的采样方式、相同的 KL 目标），只是将评分规则替换为单个参考回答。这直接比较了软评分规则 PI 与硬参考完成答案 PI 在相同框架下的效果。

### 3.3 评分规则即奖励（RaR）基线

我们将我们的方法与评分规则即奖励（RaR）基线进行比较，该基线使用一个 LLM 评判者，根据评分规则中的每个标准对回答进行评估，并将总评分作为 GRPO 训练的奖励。我们使用论文中报告的相同 GRPO 公式，但使用我们自己的稳定配方（β=0.1\beta{=}0.1），以确保公平比较。

## 4 为什么评分规则 PI 有效

### 4.1 硬 PI 在开放域生成中的作用

在数学等可验证领域，硬 PI（如真实答案）会迫使教师模型的输出分布集中到唯一有效的回答上。对于开放域任务，参考完成答案对应于整个有效回答空间中的一个点。当学生策略在同策略采样时产生不同于该点的回答时，在参考完成答案条件下的教师模型会为该回答分配较低的概率，因为这与参考回答在句法和语义上都不够相似。但是，教师模型只看到一个有效点，这一低概率并不能给学生模型提供关于*它应该生成什么*的丰富信号——它只是说“你所做的不是参考回答”。相比之下，评分规则通过指定跨越整个有效回答空间的偏好结构来提供指导。

为了验证这种直觉，我们在未训练的基座模型上执行以下诊断。给定一个查询 x 和一个该模型同策略采样的回答 y^，我们使用评分规则作为条件计算教师模型逐 token 的交叉熵 CE=−log πT(y^|x,PI)，并使用参考完成答案作为 PI 计算相同的量。我们在 200 个随机样本上对其进行平均。表 1 显示，在标记 PI 条件下，学生的平均逐 token 交叉熵低于在参考完成答案 PI 条件下的值，表明学生回答的似然度更高，因此从评分规则条件中获得了更强的学习信号。

表 1：未训练基座模型目标回答的条件负对数似然（平均逐 token 交叉熵）

| 模型 | 评分规则 PI | 参考 PI |
| --- | --- | --- |
| Qwen2.5-7B-Instruct | 2.54 | 3.12 |
| Llama-3.1-8B-Instruct | 2.61 | 3.25 |
| Qwen2.5-14B-Instruct | 2.48 | 3.01 |

### 4.2 机制分析：对学生采样的 KL 散度

为了理解学习动态，我们分析了学生同策略采样响应上的教师-学生 KL 散度：

D(πT(⋅∣x,PI)∥πS(⋅∣x))

这一数量衡量了教师模型（在 PI 条件下）与学生模型在学生模型*实际生成*的 token 上的分布差异。更高的 KL 意味着教师在学生正在探索的轨迹上提供了更强的梯度信号。我们对未训练的学生模型采样 200 个回答，并通过两种 PI 条件计算 KL 散度。我们发现，使用评分规则 PI 的每 token KL 平均比使用参考完成答案 PI 高 1.7 倍（图 2）。这一差异表明，评分规则 PI 提供的梯度信号比参考完成答案 PI 更大、更密集，这有助于解释其优越的经验性能。

## 5 实验

### 5.1 设置

**基准。**我们的主要评估基准是 HealthBench，它包含 1,355 个多选健康问题，每个问题都根据医生制定的评分规则进行评分。我们从训练数据中抽样 1,024 个提示（各训练方法和基线一致）。按照 HealthBench 官方评估方式，我们使用一个 LLM 评判者根据医学评分规则评估回答的覆盖度。我们使用 LM Evaluation Harness（Gao 等人，2024 (https://arxiv.org/html/2608.02948#bib.bib14)）报告经过验证的 General 分割结果（第 5.2 节）和保留的 Hard 分割结果（第 5.3 节）。对于训练，我们使用了 1,024 个提示的固定分割，以便与 GRPO 基线进行可扩展比较。

**模型家族。**我们在 Qwen2.5（7B 和 14B Instruct 变体）以及 Llama-3.1-8B-Instruct 上评估模型。我们比较了以下方法：
- **基座模型**：不进行训练。
- **GRPO**（RaR 基线）：使用评分规则作为奖励，对策略进行 RL。
- **LoRA Fwd**：用评分规则作为 PI 的前向 KL 蒸馏。
- **LoRA Rev**：用评分规则作为 PI 的反向 KL 蒸馏。
- **FT Fwd**：用评分规则作为 PI 的完整微调前向 KL 蒸馏。
- **FT Rev**：用评分规则作为 PI 的完整微调反向 KL 蒸馏。
- **LoRA Fwd（参考）**：用参考完成答案作为 PI 的 LoRA 前向 KL 蒸馏。
- **LoRA Rev（参考）**：用参考完成答案作为 PI 的 LoRA 反向 KL 蒸馏。
- **FT Fwd（参考）**：用参考完成答案作为 PI 的完整微调前向 KL 蒸馏。
- **FT Rev（参考）**：用参考完成答案作为 PI 的完整微调反向 KL 蒸馏。

**训练配方。**我们采用以下超参数：LoRA 秩 r=64r{=}64，α=128\alpha{=}128，EMA 衰减 μ=0.02\mu{=}0.02，KL 剪辑阈值 τ=5.0\tau{=}5.0。我们训练了 200 个步骤，在 100 步和 200 步时进行评估，并使用验证集选择最佳检查点。GRPO 使用 β=0.1\beta{=}0.1。所有模型均使用 8×A100 GPU 训练，全局批次大小为 32，学习率为 5×10−55\times 10^{-5}。

**评估。**我们报告在 HealthBench General 和 Hard 分割上的评分规则覆盖度，以及一系列通用能力基准（MMLU、GSM8K、IFEval、TruthfulQA）的结果。详情见附录 A。

### 5.2 HealthBench 上的主要结果

**RuPI 优于 RaR RL。**表 2 总结了主要结果。所有 RuPI 变体（LoRA、FT、前向 KL、反向 KL）在三个模型上都优于 GRPO 基线。最佳 RuPI 变体（FT Fwd）在 HealthBench 上的绝对分数比 GRPO 高出最多 0.10。值得注意的是，RuPI 仅使用每个训练提示 4 次同策略生成，而 GRPO 需要 32 次生成（8 个输出 × 4 个 GRPO 步骤），因此 RuPI 实现了约 8×8\times 更低的采样成本。

表 2：HealthBench（验证分割）上的评分规则覆盖度，按模型和方法划分。最佳结果以粗体显示。选择最佳检查点的方式与文中相同。

| 方法 | Qwen2.5-7B | Llama-3.1-8B | Qwen2.5-14B |
| --- | --- | --- | --- |
| 基座模型 | 0.714 | 0.720 | 0.734 |
| GRPO（评分规则即奖励） | 0.744 | 0.752 | 0.761 |
| RuPI LoRA Fwd | 0.772 | 0.781 | 0.793 |
| RuPI LoRA Rev | 0.768 | 0.777 | 0.789 |
| RuPI FT Fwd | **0.784** | **0.791** | **0.801** |
| RuPI FT Rev | 0.779 | 0.785 | 0.795 |
| 参考 PI LoRA Fwd | 0.745 | 0.751 | 0.762 |
| 参考 PI LoRA Rev | 0.740 | 0.748 | 0.759 |
| 参考 PI FT Fwd | 0.752 | 0.762 | 0.773 |
| 参考 PI FT Rev | 0.749 | 0.758 | 0.770 |

**RuPI 优于参考完成答案 PI。**在三个模型上，所有匹配的配方下，RuPI 均优于参考 PI 蒸馏。绝对差距在\+0.034\+0.034至\+0.079\+0.079之间。这直接证实了我们的假设，即在学生的同策略轨迹上，软评分规则 PI 提供了比硬参考完成答案 PI 更强的训练信号。在两个模型家族和两种蒸馏范式（LoRA 和完整微调）以及两种 KL 方向（前向和反向）中，这一优势都得以保持。

### 5.3 保留的 HealthBench Hard 分割

为了评估概括能力，我们在保留的 HealthBench Hard 分割上评估了训练后的模型，该分割包含更困难的问题和新的评分规则。表 3 显示，RuPI 继续优于 GRPO 和参考 PI。

表 3：HealthBench Hard 分割上的评分规则覆盖度。

| 方法 | Qwen2.5-7B | Llama-3.1-8B |
| --- | --- | --- |
| 基座模型 | 0.602 | 0.611 |
| GRPO | 0.631 | 0.644 |
| RuPI FT Fwd | **0.672** | **0.685** |
| 参考 PI FT Fwd | 0.638 | 0.652 |

### 5.4 通用能力保持

通过标准基准评估的通用能力没有出现显著下降（表 4）。有些情况下甚至略有提升，这表明评分规则提供的结构化监督不会损害一般能力。

表 4：跨方法验证模型在 HealthBench 训练后的通用能力保持情况。分数来自 Qwen2.5-7B-Instruct。

| 方法 | MMLU | GSM8K | IFEval | TruthfulQA |
| --- | --- | --- | --- | --- |
| 基座模型 | 0.682 | 0.792 | 0.701 | 0.511 |
| GRPO | 0.678 | 0.784 | 0.689 | 0.506 |
| RuPI FT Fwd | 0.684 | 0.790 | 0.698 | 0.514 |

### 5.5 跨领域普适性：RubricHub Science → ResearchQA

为了检验我们的核心假设（软评分规则 PI>参考完成答案 PI，以及密集蒸馏>RaR RL）的普适性，我们在 RubricHub（Li 等人，2026 (https://arxiv.org/html/2608.02948#bib.bib1)）上复制了这项研究，这是一个约包含 110K 查询-评分规则对的大规模评分规则语料库。我们聚焦于 RubricHub 的 Science 领域，并使用 ResearchQA（Yifei 等人，2026 (https://arxiv.org/html/2608.02948#bib.bib2)）进行评估，其评分规则覆盖度指标是 HealthBench 评分规则评分的开放域类比。

#### 设置

RubricHub 提供了两个对齐的数据集：一个以评分规则为条件的 RL 集（带有各领域评分规则的查询）和一个拒绝采样 SFT 集（带有最优六选一的 GPT-5.1 回答的查询）。我们取其查询文本的*交集*，因此每个训练提示都包含我们所需的全部三种信号：评分规则（用于 RuPI 的软 PI）、一个最优六选一的参考回答（参考 PI），以及作为 GRPO 基线奖励的评分规则标准。我们在 1,000 个 Science 提示上训练 Qwen2.5-7B-Instruct，配方与 HealthBench 完全相同（两种 KL 方向的 LoRA、带 EMA 教师的完整微调；以及使用稳定 β=0.1\beta{=}0.1 配方的 GRPO）。我们使用 ResearchQA 的官方协议：使用 gpt-4.1-mini 评判者计算其 3,750 个问题的保留测试分割的平均评分规则标准覆盖率，并使用其 703 个问题的验证分割进行按验证集最优的检查点选择（在步骤 50/100/150/200 上搜索）。

表 10：RubricHub Science 在 ResearchQA 上的结果，Qwen2.5-7B-Instruct。每种方法的最佳（按验证集选择）检查点

| 方法 | KL | PI | 检查点 | 验证集 | 测试集 |
| --- | --- | --- | --- | --- | --- |
| 基座模型 | — | — | — | 0.574 | - |
| GRPO | — | 评分规则 | 200 | 0.570 | 0.576 |
| LoRA Fwd | 评分规则 | 200 | 0.658 | 0.660 |
| LoRA Rev | 评分规则 | 150 | 0.649 | 0.647 |
| FT Fwd | 评分规则 | 200 | 0.670 | 0.666 |
| FT Rev | 评分规则 | 50 | 0.650 | 0.644 |
| LoRA Fwd | 参考 | 100 | 0.632 | 0.632 |
| LoRA Rev | 参考 | 100 | 0.627 | 0.629 |
| FT Fwd | 参考 | 200 | 0.639 | 0.642 |
| FT Rev | 参考 | 200 | 0.630 | 0.634 |

HealthBench 上的排序在此处清晰地复现（表 10 (https://arxiv.org/html/2608.02948#S5.T10)）。GRPO 没有比基座模型有所改进，这印证了 RaR RL 是一种弱信号（H2）。相比之下，软 PI 蒸馏显著推动了 ResearchQA 的结果：最佳 RuPI 变体比基座模型高出\+0.092\+0.092，比 GRPO 高出\+0.090\+0.090。RuPI 还在每一种匹配的配方下都优于参考完成答案 PI，在第二个领域实现了 H1：评分规则刻画了全部优质回答的整体特性，其迁移效果优于单个参考回答。验证集和测试集在整个过程中紧密相关，排序是在验证集分割上确定的，并在测试集上独立确认。第 4.2 节 (https://arxiv.org/html/2608.02948#S4.SS2) 的先决条件诊断，即在学生采样轨迹上，评分规则 PI 与参考 PI 条件下教师-学生逐 token 的 Body KL，以及质量集中度测量，均在附录 G (https://arxiv.org/html/2608.02948#A7) 中。

## 6 结论

我们表明，当评分规则作为教师的 PI 时，同策略自蒸馏可以扩展到开放域生成。核心发现是，在学生模型采样轨迹上，软评分规则 PI 提供的训练信号比硬参考完成答案 PI 更强、更精准。参考完成答案条件会使教师模型的质量集中在标准答案附近，但标准答案只是庞大的有效回答空间中的一个点，而学生模型的采样轨迹远离这个点，因此该条件对学生模型实际轨迹的影响很弱。软评分规则标准刻画了学生模型正在探索的整个有效回答空间上的偏好，因此同样的学生采样轨迹在条件作用下会以有意义地符合评分规则的方式移动。在三个模型上，RuPI 在 HealthBench 上均优于 RaR GRPO（最高提升\+0.10\+0.10），且每个训练提示的同策略生成次数减少 8×8\times，且无需外部评判者；同样的模式在保留的 HealthBench Hard 分割上也成立。这些发现也在第二个领域中成立：在 RubricHub Science 上训练并在 ResearchQA 上评估时，RuPI 同时优于参考完成答案 PI 蒸馏和 RaR RL。综上所述，这些结果表明，对于存在评估评分规则的不可验证任务，将评分规则用作密集 PI 进行蒸馏比用作稀疏奖励进行 RL 更好。

## 局限性

（i）我们在两个开放域领域上进行了评估：医疗问答（HealthBench）和科学问答（RubricHub Science，通过 ResearchQA 评估），HealthBench 研究涵盖两个模型家族（Qwen2.5、Llama-3.1）和三种规模（Llama 8B、Qwen 7B、Qwen 14B）。两者都是基于评分规则覆盖率评分的问答任务；将该方法扩展到结构不同的不可验证任务，例如长篇创意写作或多轮助手对话，是自然的下一步。
（ii）LoRA 超参数（r=64r{=}64, α=128\alpha{=}128）、EMA 衰减（μ=0.02\mu{=}0.02）和 KL 剪辑阈值（τ=5.0\tau{=}5.0）继承自先前工作；这些值效果良好，因此我们没有进行超参数敏感性搜索。
（iii）我们的跨领域测试套件（MMLU、GSM8K、IFEval、TruthfulQA）涵盖了知识、推理、指令遵循和事实校准；IFBench（Pyatkin 等人，2026 (https://arxiv.org/html/2608.02948#bib.bib29)）等抗污染指令遵循基准将进一步增强 OOD 论点的说服力。
（iv）我们的研究假设评分规则和参考回答都是*高质量*且*与评估标准一致*的：RuPI 的前提是，一个好的评分规则刻画了整个优质回答分布的特征，而参考回答只提供了其中一个答案。当评分规则质量较低、是合成生成的，或*与下游任务实际评分内容不一致*，导致评分规则和参考回答指向不同目标时，我们报告的排序（评分规则 PI>参考 PI）不一定成立，以评分规则为条件甚至可能迁移评估并不奖励的标准。刻画哪些评分规则有帮助、哪些有损害，并自动整理或修复评分规则以满足这种一致性前提，超出了本文的范围，留待未来工作。

## 伦理考量

我们的实验包括医疗问答基准，但所得模型是研究原型，不应被用于诊断、治疗或临床决策。RuPI 会迁移评分规则指定的行为；不准确、不完整、有偏见或恶意的评分规则可能因此迁移有害的指导或遗漏。这种风险在健康等高利害领域尤为重要。任何部署都需要领域专家对评分规则的验证、超出评分规则满足度的安全评估、故障监控以及适当的人工监督。训练多个 7B–14B 参数的模型并使用外部 LLM 评判者也会产生计算和环境成本。与我们的 GRPO 基线相比，RuPI 使用更少的采样轨迹，并且在训练期间不需要外部评判者，但我们没有提供完整的能源或碳足迹核算。

## 参考文献

- R. Agarwal, N. Vieillard, Y. Zhou, P. Stanczyk, S. Ramos Garea, M. Geist, and O. Bachem (2024). On-policy distillation of language models: learning from self-generated mistakes. In *International Conference on Learning Representations*, Vol. 2024, pp. 21246–21263. 被引用：§2.1 (https://arxiv.org/html/2608.02948#S2.SS1.p1.12)，§5.4 (https://arxiv.org/html/2608.02948#S5.SS4.p1.4)。
- R. K. Arora, J. Wei, R. S. Hicks, P. Bowman, J. Quiñonero-Candela, F. Tsimpourlas, M. Sharman, M. Shah, A. Vallone, A. Beutel, et al. (2025). Healthbench: evaluating large language models towards improved human health. *arXiv preprint arXiv:2505.08775*. 被引用：§4.1 (https://arxiv.org/html/2608.02948#S4.SS1.SSS0.Px1.p1.1)。
- K. Cobbe, V. Kosaraju, M. Bavarian, M. Chen, H. Jun, L. Kaiser, M. Plappert, J. Tworek, J. Hilton, R. Nakano, et al. (2021). Training verifiers to solve math word problems. *arXiv preprint arXiv:2110.14168*. 被引用：§4.1 (https://arxiv.org/html/2608.02948#S4.SS1.SSS0.Px3.p1.1)。
- L. Gao, J. Tow, B. Abbasi, S. Biderman, S. Black, A. DiPofi, C. Foster, L. Golding, J. Hsu, A. Le Noac’h, H. Li, K. McDonell, N. Muennighoff, C. Ociepa, J. Phang, L. Reynolds, H. Schoelkopf, A. Skowron, L. Sutawika, E. Tang, A. Thite, B. Wang, K. Wang, and A. Zou (2024). The language model evaluation harness. *Zenodo*. 外部链接：文档 (https://dx.doi.org/10.5281/zenodo.12608602)，链接 (https://zenodo.org/records/12608602)。被引用：§4.1 (https://arxiv.org/html/2608.02948#S4.SS1.SSS0.Px3.p1.1)。
- A. Grattafiori, A. Dubey, A. Jauhri, A. Pandey, A. Kadian, A. Al-Dahle, A. Letman, A. Mathur, A. Schelten, A. Vaughan, et al. (2024). The llama 3 herd of models. *arXiv preprint arXiv:2407.21783*. 被引用：§4.1 (https://arxiv.org/html/2608.02948#S4.SS1.SSS0.Px2.p1.9)。
- A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, and S. M. Hendryx (2026). Rubrics as rewards: reinforcement learning beyond verifiable domains. In *The Fourteenth International Conference on Learning Representations*, 外部链接：链接 (https://openreview.net/forum?id=c1bTcrDmt4)。被引用：§1 (https://arxiv.org/html/2608.02948#S1.p1.1)，§2.4 (https://arxiv.org/html/2608.02948#S2.SS4.p1.1)。
- D. Guo, D. Yang, H. Zhang, J. Song, P. Wang, Q. Zhu, R. Xu, R. Zhang, S. Ma, X. Bi, et al. (2025). Deepseek-r1: incentivizing reasoning capability in llms via reinforcement learning. *arXiv preprint arXiv:2501.12948*. 被引用：§2.4 (https://arxiv.org/html/2608.02948#S2.SS4.p1.1)。
- D. Hendrycks, C. Burns, S. Basart, A. Zou, M. Mazeika, D. Song, and J. Steinhardt (2020). Measuring massive multitask language understanding. *arXiv preprint arXiv:2009.03300*. 被引用：§4.1 (https://arxiv.org/html/2608.02948#S4.SS1.SSS0.Px3.p1.1)。
- G. Hinton, O. Vinyals, and J. Dean (2015). Distilling the knowledge in a neural network. *arXiv preprint arXiv:1503.02531*. 被引用：§2.1