奖励推理，而非答案：修复与约束医学问答中的测试时强化学习

# 修复与约束医疗问答中的测试时强化学习
来源：https://arxiv.org/html/2609.16660
## 奖励推理过程，而非答案本身：修复与约束医疗问答中的测试时强化学习

Anqi Pu Yichen Wu\\corresponding Wanhua Li Yicong Li Hanspeter Pfister Huafeng Liu Xiang Li Quanzheng Li Ning Guo

###### 摘要

测试时强化学习通过多数投票伪标签，在模型自身的无标签测试集上进行自适应，并在数学领域展现出强大性能。我们发现，这种方法在医疗多选问答任务中失效：准确率停滞不前，而输出多样性急剧下降。通过保持问题、模型和优化器不变，仅改变答案空间的控制实验，我们将此失败归因于答案空间结构而非领域难度。在小答案空间中，不正确的推理路径常会碰撞于同一个错误的伪标签并强化该错误；在大答案空间中，它们则分散并获得极少奖励。这一诊断启发了PROSE——过程奖励引导的自训练方法，该方法奖励推理质量而非答案一致性。PROSE使用医疗过程奖励模型对每个推理步骤进行评分，将轨迹奖励设为各步骤评分的最小值，并强制执行答案格式约束。无需标签，PROSE显著提升了通用Llama模型的性能，超越了专用医疗模型并与更大规模系统相匹配。由于过程信号被内化至策略中，适应后的模型在推理时无需奖励模型，并能将性能提升迁移至未见数据集。我们进一步证明，最小值聚合方式至关重要：平均值聚合可被利用，导致代理奖励饱和而准确率下降。

1哈佛医学院/MGH

2浙江大学

3哈佛大学

通讯作者：yiwu6@mgh\.harvard\.edu

## 1引言

图1：奖励推理过程可防止测试时强化学习崩溃。标准TTRL在16次采样响应的平均准确率上仅有适度提升(avg@16)(a)，且在16次采样响应的多数投票准确率(maj@16)上无提升(b)；而PROSE则持续改进这两项指标。曲线表示均值，阴影区域表示跨三个随机种子的标准差(±\\pm)。近期研究表明，大型语言模型可在测试时利用自身采样输出进行自适应(Zuo et al\. 2026 (https://arxiv.org/html/2609.16660#bib.bib13); Moradi et al\. 2025 (https://arxiv.org/html/2609.16660#bib.bib15); Yang et al\. 2026 (https://arxiv.org/html/2609.16660#bib.bib16))。测试时强化学习(TTRL)将这些输出转化为学习信号：对于每个无标签测试问题，模型采样多个响应，将多数答案视为伪标签，并更新自身以与之一致。这一简单方法已在数学领域取得显著提升，因其仅需测试问题而无需真实标签或额外标注，故极具吸引力。

医疗问答是此类无标签自适应尤其有价值的天然场景。专家标注成本高昂，临床数据分布因机构和专科而异，隐私约束常限制外部标注(Wang et al\. 2021 (https://arxiv.org/html/2609.16660#bib.bib22); Zech et al\. 2018 (https://arxiv.org/html/2609.16660#bib.bib23); Price and Cohen 2019 (https://arxiv.org/html/2609.16660#bib.bib24))。同时，许多医疗基准和决策支持界面采用多选问答形式，其答案空间小且高度结构化。这种格式引出了一个核心问题：当多种不同推理路径必须从同一有限答案集中选择时，多数投票的自训练是否仍然可靠？

图1 (https://arxiv.org/html/2609.16660#S1.F1) 展示了促使本工作的实证失败案例。标准TTRL在样本级平均准确率上仅带来边际改进，在多数投票准确率上则无提升，尽管在无标签测试集上进行了多次自适应。同时，模型输出多样性显著下降，表明自适应增加了样本间的一致性，却未提升正确性。相比之下，我们的PROSE通过将最终答案一致性替换为过程级奖励，提升了两项准确率指标。这一对比表明，局限性不在于测试时自适应本身，而在于在小型结构化答案空间中使用多数投票伪标签。

为定位此崩溃的根源，我们设计了一个控制实验：保持问题、模型、优化器和训练过程固定，仅改变答案空间。结果支持“答案空间解释”而非“领域难度解释”。我们发现TTRL所识别的“幸运命中”机制(Zuo et al\. 2026 (https://arxiv.org/html/2609.16660#bib.bib13))依赖于答案空间的结构：在大型自由形式答案空间中，不正确的推理路径通常分散于不同字符串，极少被多数投票奖励强化；而在小型多选答案空间中，不同的错误推理可能收敛于同一错误选项，产生虚假共识并被作为伪标签奖励。我们通过伪标签奖励准确率与真实答案准确率之间的“保护差距”量化了这一效应，发现自由形式回答中存在的差距在多选题目中几乎消失。

这一诊断指向了不同的训练信号。若最终答案的一致性不可靠，则奖励应评估产生答案的推理过程(Uesato et al\. 2022 (https://arxiv.org/html/2609.16660#bib.bib25); Lightman et al\. 2023 (https://arxiv.org/html/2609.16660#bib.bib5))。我们引入PROSE，它保留了测试时强化学习循环，但将多数投票伪标签替换为步级医疗过程奖励模型。PROSE对每个推理步骤进行评分，将轨迹奖励设为各步骤评分的最小值，并施加答案格式约束。最小值聚合使奖励依赖于链条中最弱的一步，防止轨迹通过许多简单或流畅步骤隐藏有缺陷的推理。

除了改进自适应，PROSE还具有实际部署优势。PRM仅在自适应阶段用于为采样轨迹提供过程级奖励。自适应后，策略独立评估，通过普通采样或多数投票，无需访问PRM。因此，过程信号被吸收进模型参数，而非作为推理时的外部选择器。实证表明，在相同采样预算下，此学习策略优于基于PRM的选择，并在从未用于自适应的数据集上保留其提升，表明PROSE学习的是可迁移的推理行为，而非数据集特定的答案偏好。总而言之，我们的贡献如下：
- • 我们提供了TTRL在医疗多选问答中失败的因果解释。“幸运命中”机制展示了小答案空间如何将独立推理错误转化为被强化的伪标签错误。
- • 我们引入PROSE，一种无标签的测试时自适应方法，它使用医疗过程奖励模型奖励推理质量，通过推理步骤的最小值分配轨迹奖励，并守卫答案格式。
- • 我们证明PROSE将过程奖励内化至策略中，推理时无需奖励模型，可泛化至适应数据集之外，并避免了平均值聚合导致的奖励作弊问题。

## 2相关工作

测试时缩放与自进化。增加推理时计算已成为从LLM引出更强推理能力的实用方法，通常补充甚至媲美模型规模扩展带来的收益(Snell et al\. 2024 (https://arxiv.org/html/2609.16660#bib.bib4); Huang et al\. 2025 (https://arxiv.org/html/2609.16660#bib.bib6))。主导研究路线采样多个解决方案，通过共识（如自洽性）或选择（如使用奖励模型的Best-of-M）进行聚合(Wang et al\. 2022 (https://arxiv.org/html/2609.16660#bib.bib3); Snell et al\. 2024 (https://arxiv.org/html/2609.16660#bib.bib4))。除选择方案外，TTRL通过重复采样和多数投票获得代理奖励，实现了无标签输入上的参数适应，产生测试时的自进化(Zuo et al\. 2026 (https://arxiv.org/html/2609.16660#bib.bib13); Liu et al\. 2025a (https://arxiv.org/html/2609.16660#bib.bib26); Pan et al\. 2026 (https://arxiv.org/html/2609.16660#bib.bib27))。虽然前沿推理模型利用可验证结果奖励或昂贵的人工标注进行强化学习(Guo et al\. 2025 (https://arxiv.org/html/2609.16660#bib.bib7); Jaech et al\. 2024 (https://arxiv.org/html/2609.16660#bib.bib8))，但在医疗领域，实时金标准很少可用，无标签的测试时自适应尤为诱人(Hager et al\. 2024 (https://arxiv.org/html/2609.16660#bib.bib1))。

推理时验证：从结果奖励到过程奖励。测试时缩放通过探索多个推理轨迹并选择最可靠者，在不更新模型参数的情况下提升输出质量。基于结果的奖励模型对整个解决方案评分，但可能因碰巧得到正确答案的虚假推理或后续脱轨的正确早期步骤而误判轨迹(Yuan et al\. 2025 (https://arxiv.org/html/2609.16660#bib.bib10); Lee et al\. 2025 (https://arxiv.org/html/2609.16660#bib.bib11))。过程奖励模型通过提供逐步监督来评估中间推理的有效性，解决了这一问题(Lightman et al\. 2023 (https://arxiv.org/html/2609.16660#bib.bib5); Zheng et al\. 2025 (https://arxiv.org/html/2609.16660#bib.bib9))。在医学中，由于缺乏符号验证器，逐步验证具有挑战性；Med-PRM通过将步骤评估锚定于检索的临床指南和医学文献（RAG作为评判）来解决此问题，实现了医疗推理中更强的基于验证器的选择(Yun et al\. 2025 (https://arxiv.org/html/2609.16660#bib.bib14); Liu et al\. 2025b (https://arxiv.org/html/2609.16660#bib.bib12))。

## 3动机：TTRL在医疗多选问答中失败

观察到的崩溃。我们首先考察标准的多数投票TTRL在医疗多选问答中的表现。如图1 (https://arxiv.org/html/2609.16660#S1.F1) 所示，TTRL仅在样本级准确率上产生有限提升，而多数投票准确率基本不变。同时，输出多样性急剧下降(Cui et al\. 2025 (https://arxiv.org/html/2609.16660#bib.bib31); Chen et al\. 2026 (https://arxiv.org/html/2609.16660#bib.bib32))。因此，模型变得更加自洽，但并未变得更正确。这种行为暴露了答案级自训练的弱点。TTRL奖励与多数答案的一致性，但在医疗多选问答中，一致性并非正确性的可靠代理。当答案空间较小时，不同的有缺陷推理路径易于收敛于同一选项。训练随后强化该共享答案，即使其背后的推理是错误的。

答案空间很重要。一种可能的解释是，医疗问题本身就比TTRL已成功的数学任务更难。为验证此点，我们在AMC数学问题上设计了对照实验(Zuo et al\. 2026 (https://arxiv.org/html/2609.16660#bib.bib13))。每个问题以两种格式评估：其原始自由形式格式和匹配的四选项多选格式。问题、策略模型、优化器和训练过程保持固定。仅改变答案空间。

图2 (https://arxiv.org/html/2609.16660#S3.F2) 表明，这一变化足以逆转训练动态。在自由形式设置中，TTRL稳步提升准确率。在匹配的多选设置中，准确率先升后降。由于底层问题和优化过程未变，结果指向答案空间结构而非领域难度是失败的关键原因。

图2：仅改变答案空间，使TTRL从改进变为崩溃。(a) 开放式回答的Avg@16提升，而四选项多选题崩溃。(b) 保护差距（奖励准确率−标签准确率）对开放式回答保持正值，但对四选项多选题消失。“幸运命中”机制。对照实验揭示了“幸运命中”效应如何依赖于答案空间。在大型自由形式答案空间中，不正确的推理路径分散于许多不同字符串。即使多数伪标签错误，大多数其他错误路径也不完全匹配它，因此未获奖励。这种稀疏性保护训练免受许多伪标签错误的影响。在小型多选答案空间中，这种保护消失。不同的错误推理被压缩至同一少数选项，因此错误路径常碰撞于同一错误答案。一旦该答案成为多数伪标签，许多有缺陷的轨迹获得正奖励。因此，测量到的保护差距从自由形式设置中的强正值下降到多选下的近零。此机制也解释了为何多样性崩溃本身并非根本原因。多样性可在准确率提升时下降，如自由形式条件所示。关键在于概率质量集中于何处。在医疗多选问答中，小答案空间允许概率质量集中于错误选项，将伪标签错误转变为自我强化的训练信号。

从诊断到奖励设计。该诊断表明，奖励不应仅依赖最终答案的一致性。在易碰撞的答案空间中，更可靠的信号应评估产生答案的推理过程。这启发了PROSE，它用来自医疗PRM的过程级奖励替换多数投票奖励。PROSE对每个推理步骤评分，并将轨迹奖励设为各步骤评分的最小值。此设计使奖励对推理链中的最弱步骤敏感，因此响应无法将有缺陷的推理隐藏在流畅或简单的步骤之后。PRM仅在自适应阶段使用。之后，适应后的策略无需PRM评分进行回答，意味着过程信号被吸收进模型，而非用作推理时的选择器。

## 4方法

请参阅图注图3：PROSE概述。给定一个无标签测试问题，策略πθ\\pi\_{\\theta}采样KK条轨迹。外部医疗过程奖励模型对每个推理步骤进行评分，最小步骤评分定义每条轨迹的奖励。格式守卫在无法提取答案时分配零奖励。GRPO随后使用轨迹及其奖励更新策略，整个过程在无标签测试集上重复。前述诊断表明，多数投票TTRL失败是因为最终答案的一致性在小答案空间中变得不可靠。PROSE（过程奖励引导的自训练）保留了相同的测试时强化学习循环，但将答案级伪标签奖励替换为过程级奖励。如图3 (https://arxiv.org/html/2609.16660#S4.F3) 所示，PROSE从当前策略采样轨迹，用医疗过程奖励模型评分其推理步骤，用最小值算子聚合步骤评分，施加格式守卫，并用GRPO更新策略。整个过程仅使用无标签测试问题。

测试时强化学习设置。我们考虑在无标签测试集D=\{q\}\\mathcal\{D\}=\\\{q\\\}上的转导式测试时自适应。对于