RLVR中的多语言验证器偏差：基准测试、Rollout诊断与跨语言选择瓶颈

# 多语言验证器在RLVR中的偏差：基准测试、推演诊断与跨语言选择瓶颈
来源：https://arxiv.org/html/2608.20362  
11机构文本：日本东京科学大学工程学院  
11电子邮件：zhou\.c\.76d6@m\.isct\.ac\.jp  
22机构文本：中国浙江大学控制科学与工程学院  
22电子邮件：jiangqiliang@zju\.edu\.cn  
33机构文本：新加坡国立大学电气与计算机工程系  
33电子邮件：zhouxu\_nus@u\.nus\.edu  
\*同等贡献。†通讯作者。

###### 摘要

带可验证奖励的强化学习（RLVR）是训练大语言模型进行数学推理的标准方法，其中答案验证器充当与语言无关的奖励函数。我们发现这一假设在多语言数学推理中失效：精确匹配验证器会将格式和文字变化转化为依赖语言的假负奖励噪声。我们引入了一个通用、可复用的协议，用于审计多语言RLVR奖励：包括验证器鲁棒性套件、推演诊断流程，以及适用于日语、英语和中文答案的语言条件奖励误差指标，且无需修改即可应用于任何模型、验证器或语言集。在MGSM英语/日语/中文推演中（k=8k=8），精确匹配代理对可信正确答案的拒绝率在Qwen3‑4B、Qwen3‑8B和Llama‑3.1‑8B‑Instruct模型之间存在显著的语言差异；对于Qwen3‑8B，日语的假负率达到0.642，而英语为0.122，中文为0.073，验证器语言偏差（VLB）达到0.569。相同的划分下，纯数字探针将机制定位到最终答案接口：最终答案接口模型使精确奖励误差VLB降至0.000，而残余的语言准确率差距保持不变。随后我们揭示了一个跨语言*选择瓶颈*：在新的MGSM250推演中，无需使用可信标签的目标局部聚合规则为Qwen3‑8B和Llama‑3.1‑8B‑Instruct分别恢复了55%和78%的平均局部多数选择差距，以及63%和88%的日语差距；尸检分析显示，超过95%的修复需要真正的跨语言支持而非语言内的多数，且该瓶颈在手动审核的483题MATH‑500集合中同样复现。最后，受控训练审计显示，规则GRPO将可信准确率从0.647提升至0.735，但精确匹配奖励误差VLB仍保持高位。统一的核心信息在于实际操作：多语言RLVR奖励应在优化前按语言和答案接口进行审计。

## 1引言

可验证奖励函数是RLVR的核心优势。当任务具备自动验证器时，模型可以针对二元正确性信号进行优化，而无需昂贵的人类偏好标签。数学推理是典型场景：GSM8K、MATH和GRPO式数学RL提供了广泛使用的问题设置和优化方案[2 (https://arxiv.org/html/2608.20362#bib.bib11), 7 (https://arxiv.org/html/2608.20362#bib.bib12), 11 (https://arxiv.org/html/2608.20362#bib.bib1)]。最终答案验证器将生成的解决方案映射为奖励，而GRPO等强化学习算法则根据该奖励优化策略。

此设置隐含着一个可靠性假设：验证器是训练中跨语言和答案格式任务正确性的稳定代理。在多语言推理中，此假设很脆弱。相同的数值答案可能以货币符号、Markdown强调、括号、小数变体、全角数字、汉字量级单位或语言特定后缀等形式出现。严格的精确匹配验证器会拒绝这些语义正确的字符串。当此类拒绝在不同语言间分布不均时，验证器将表面变化转化为依赖语言的奖励压力，该压力进入策略梯度。

我们将此现象视为RLVR中的*多语言验证器偏差*，并从测量到机制再到后果进行追踪。首先构建验证器鲁棒性套件和推演诊断流程，比较弱代理验证器与基于真实模型样本的可信标准等价奖励。我们按语言度量奖励误差的集中程度。随后通过受控的纯数字接口探针隔离机制。最后探究噪声在决策时的代价，发现大部分语言差距并非生成失败，而是*选择*失败：模型通常已在某种语言中生成正确答案，却选择了错误答案。

我们的核心实证对象是语言条件奖励误差分布及其单标量汇总——验证器语言偏差VLB\(m\)=maxl⁡m\(l\)−minl⁡m\(l\)\mathrm\{VLB\}\(m\)=\max\_{l\}m\(l\)\-\min\_{l\}m\(l\)\)，其中\(m\)是按语言计算的指标。该诊断在三个模型和两个模型族中可复现，且受影响最严重的语言并非基准的属性，而是模型输出分布的属性。

综合而言，这三个测量并非三项独立研究，而是对同一量——代理奖励与可信奖励之间的语言条件差距——的三种视角。相同的元组\(π,\{xl\},k,v,r∗\)\(\\pi,\\\{x\_\{l\}\\\},k,v,r^\{\\ast\}\)\(第3节 (https://arxiv.org/html/2608.20362#S3)\)是本文所有结果背后的一致工具：推演诊断直接从按语言配置文件读取验证器注入语言条件噪声的*位置*；接口探针隔离了*原因*（答案格式而非算术能力）；选择瓶颈和训练审计则追踪该噪声在下游——决策时和优化下——的*代价*。本文有三方面贡献。

1. 1\.用于审计多语言RLVR奖励的通用协议。该协议固定一个元组\(π,\{xl\},k,v,r∗\)\(\\pi,\\\{x\_\{l\}\\\},k,v,r^\{\\ast\}\)和一组语言条件奖励误差指标——假负率、假正率、奖励误差率、期望策略压力以及验证器语言偏差VLB\mathrm\{VLB\}——且无需修改即可应用于任何模型、验证器或语言集。我们随文发布了日语/英语/中文压力套件及三类规则验证器族（精确匹配、标准化数值、混合）。
2. 2\.基于接口机制的可重复诊断。在Qwen3‑4B、Qwen3‑8B和Llama‑3.1‑8B‑Instruct的MGSM推演中，精确匹配奖励噪声以假负为主且具语言条件性。相同的纯数字探针将精确匹配部分定位到最终答案接口：接口模型将精确奖励误差VLB降至0.000，而残余准确率差距保持不变，从而区分了格式效应与能力效应。
3. 3\.跨语言选择瓶颈及其无标签利用程序。在新的MGSM250推演中，一个简单的目标局部跨语言聚合程序——不使用可信标签——恢复了55–78%的平均局部多数选择差距和63–88%的日语差距，并在手动审核的483题MATH‑500集合中复现；尸检证实超过95%的修复需要真正的跨语言共识，因此大部分语言差距是可恢复的选择失败，而非生成缺陷。

第2节 (https://arxiv.org/html/2608.20362#S2)定位本工作。第3节 (https://arxiv.org/html/2608.20362#S3)形式化指标。第4至7节 (https://arxiv.org/html/2608.20362#S4)–(https://arxiv.org/html/2608.20362#S7)展示套件、推演诊断、接口机制和选择瓶颈。第8节 (https://arxiv.org/html/2608.20362#S8)报告受控训练审计，第9节 (https://arxiv.org/html/2608.20362#S9)提供操作指南。

## 2相关工作

### RLVR中的验证器噪声。

验证器噪声在RLVR中日益被视为首要问题。TinyV研究数学假负并表明减少假负能提升LLM推理的RL效果[15 (https://arxiv.org/html/2608.20362#bib.bib7)]，而对噪声监督的分析指出RLVR默认对不正确奖励不稳健[17 (https://arxiv.org/html/2608.20362#bib.bib8)]。一条理论路线将验证器不可靠性建模为随机奖励通道：相变统计量J=TPR−FPRJ=\\mathrm\{TPR\}\-\\mathrm\{FPR\}决定错误模式是被驱逐还是放大[10 (https://arxiv.org/html/2608.20362#bib.bib15)]，而不对称的假正/假负率允许后向和前向校正以恢复无偏策略梯度[1 (https://arxiv.org/html/2608.20362#bib.bib14)]。我们的验证器语言偏差正是此图景的语言条件化强化：在假负主导的精确匹配区间（FPR≈0\mathrm\{FPR\}\approx 0），J\(l\)=TPR\(l\)−FPR\(l\)≈TPR\(l\)=1−FNR\(l\)J\(l\)=\\mathrm\{TPR\}\(l\)\-\\mathrm\{FPR\}\(l\)\\approx\\mathrm\{TPR\}\(l\)=1\-\\mathrm\{FNR\}\(l\)，因此全局低噪声验证器在不同语言下处于不同奖励区间，单一全局校正无法追踪此分布。奖励博弈研究进一步强调区分代理奖励与可信奖励的必要性：策略会利用验证器弱点，而评估此利用需要可信参考[6 (https://arxiv.org/html/2608.20362#bib.bib10)]。我们的工作共享此代理-可信框架但增加了语言维度：我们测量代理/可信差距如何分布在日语/英语/中文间，以及如何作为语言条件压力进入策略梯度。有两点区别重要。首先，先前工作主要将验证器可靠性刻画为奖励通道的全局属性；我们将其条件化于语言并表明分布而非均值偏倚多语言策略。其次，奖励博弈研究关注假正——策略随后利用的错误答案获得奖励——而我们观察的多语言精确匹配区间则相反，以假负为主，正确答案被剥夺奖励。两种失效模式需要不同审计：假正由更强的可信参考捕获，而我们研究的语言条件假负仅通过按语言和答案接口条件化审计才能捕获。

### 多语言推理与评判。

MGSM确立了多语言链式思维数学评估[12 (https://arxiv.org/html/2608.20362#bib.bib6)]，跨语言坍缩研究表明以语言为中心的预训练塑造了跨语言推理行为[9 (https://arxiv.org/html/2608.20362#bib.bib5)]。在评估方面，多语言LLM-as-a-judge工作记录了评判器可靠性因语言而异[5 (https://arxiv.org/html/2608.20362#bib.bib9)]。这些结果关注评判器作为评估者；而我们研究用作*奖励*的规则验证器，并量化其在推演期间的语言条件失效模式。

### 跨语言一致性与聚合。

另一平行路线通过强制跨语言一致性来提升多语言推理。推理时框架通过多数投票整合多语言推理路径以提升准确率[16 (https://arxiv.org/html/2608.20362#bib.bib16)]，训练时方法将跨语言自一致性作为无监督RL目标，自翻译每个提示并奖励跨语言答案一致[4 (https://arxiv.org/html/2608.20362#bib.bib17)]。我们的跨语言聚合（第7节 (https://arxiv.org/html/2608.20362#S7)）既非准确率最大化解码器也非训练目标：它是一种无标签*诊断*，仅从目标语言已存在的答案簇中选择，不引入其他语言的答案（借用计数为0），且不进行训练。其目的是测量残余语言差距中有多少是可恢复的选择失败而非生成缺陷——这为这些方法利用的跨语言信号提供了证据，而非竞争；我们的协议将其与格式和能力成分分离。

### 无验证器与自验证奖励。

一条增长路线移除或软化外部验证器：NOVER无验证器训练[8 (https://arxiv.org/html/2608.20362#bib.bib2)]，VIGOR使用内在梯度范数奖励[14 (https://arxiv.org/html/2608.20362#bib.bib3)]，Soft‑SVeRL使用自验证软奖励[3 (https://arxiv.org/html/2608.20362#bib.bib4)]。这些是训练时奖励，标志着边界而非我们工作的竞争者。我们的跨语言聚合是无标签、推理时的程序，能恢复大部分选择差距，而我们的核心贡献是围绕它的审计协议。

### 跨语言数学基准。

我们的套件建立在GSM8K和MATH[2 (https://arxiv.org/html/2608.20362#bib.bib11), 7 (https://arxiv.org/html/2608.20362#bib.bib12)]之上，以及MATH‑PT为葡萄牙语所主张的更广泛论点——多语言数学评估不应依赖以英语为中心的假设[13 (https://arxiv.org/html/2608.20362#bib.bib13)]。我们的焦点是互补的：不是新测试集，而是审计多语言RLVR管道应用于模型输出的*奖励*的协议。

## 3问题形式化

令xlx\_\{l\}为语言l∈\{EN,JP,CN\}l\\in\\\{\\mathrm\{EN\},\\mathrm\{JP\},\\mathrm\{CN\}\\\}中的数学提示，令yy为采样补全，令a\(y\)a\(y\)为其提取的最终答案。我们区分基于标准答案等价的*可信*奖励r∗\(y\)r^\{\\ast\}\(y\)与由验证器vv（如精确字符串匹配）产生的*代理*奖励rv\(y\)r\_\{v\}\(y\)。可信奖励在比较前标准化预测和参考（阿拉伯数字规范化、汉字量级扩展、百分比和符号处理），并作为定义代理误差的参考。

对于固定语言l，*假负*（FN）是r∗=1r^\{\\ast\}=1但rv=0r\_\{v\}=0的补全（验证器拒绝的正确答案），*假正*（FP）是r∗=0r^\{\\ast\}=0但rv=1r\_\{v\}=1的补全。我们报告按可信标签条件化的按语言假负和假正率：

FNR\(l\)\displaystyle\\mathrm\{FNR\}\(l\)=Pry∼π\(⋅∣xl\)⁡\[rv\(y\)=0∣r∗\(y\)=1\],\\displaystyle=\\Pr\\nolimits\_{y\\sim\\pi\(\\cdot\\mid x\_\{l\}\)\}\\!\\big\[r\_\{v\}\(y\)=0\\mid r^\{\\ast\}\(y\)=1\\big\],
FPR\(l\)\displaystyle\\mathrm\{FPR\}\(l\)=Pry∼π\(⋅∣xl\)⁡\[rv\(y\)=1∣r∗\(y\)=0\],\\displaystyle=\\Pr\\nolimits\_{y\\sim\\pi\(\\cdot\\mid x\_\{l\}\)\}\\!\\big\[r\_\{v\}\(y\)=1\\mid r^\{\\ast\}\(y\)=0\\big\],
因此FNR\(l\)\mathrm\{FNR\}\(l\)是验证器拒绝的可信正确补全部分。无条件奖励误差率为Err\(l\)=Pr⁡\[rv\(y\)≠r∗\(y\)\]\mathrm\{Err\}\(l\)=\\Pr\[r\_\{v\}\(y\)\\neq r^\{\\ast\}\(y\)\]，对于假负主导的验证器（FPR≈0\mathrm\{FPR\}\approx 0），简化为FNR\(l\)⋅acc\(l\)\mathrm\{FNR\}\(l\}\\cdot\\mathrm\{acc\}\(l\)，即被扣留的奖励质量。期望策略压力−Err\(l\)\-\\mathrm\{Err\}\(l\)是策略在正确但被拒绝答案上每样本损失的有符号奖励，它是进入GRPO式优势的量：假负率高的语言对实际正确的补全贡献系统性负信号，偏向梯度反对模型在该语言中使用的格式习惯。

因此，诊断运行完全由元组\(π,\{xl\},k,v,r∗\)\(\\pi,\\\{x\_\{l\}\\\},k,v,r^\{\\ast\}\)指定并计算。