通过渐进式代码切换实现高效的多语言推理迁移

# 高效多语言推理迁移：渐进式代码切换

来源：https://arxiv.org/html/2607.00485

### 奖励建模

PCS 在冷启动模型的基础上进行强化学习训练。与传统的通过判断整个回复语言来进行响应级语言一致性奖励不同，我们计算 `SLC(T,L)` 并将其与阈值比较，得到语言奖励。这个奖励反映了模型当前的代码切换推理行为是否符合当前课程所指定的期望水平。给定当前优化步骤中 `SLC(T,L)` 的阈值 `τ`，我们首先定义奖励系统：

- **重复惩罚（r_rep）**：检测回复中的重复，以强制提高推理质量。若无重复则 `r_rep=1`，否则为 0。详见附录 A (https://arxiv.org/html/2607.00485#A1.SSx3)。
- **格式奖励（r_fmt）**：若输出符合格式则 `r_fmt=1`，否则为 0。
- **准确率奖励（r_acc）**：若答案正确则 `r_acc=1`，否则为 0。
- **步骤级语言一致性奖励（r_SLC）**：使用正则表达式去除数学内容，然后使用 langdetect¹ 识别每一步的语言。若 `SLC(T,L) ≥ τ` 则 `r_SLC=1`，否则为 0。

如图 2 (https://arxiv.org/html/2607.00485#Sx2.F2) 所示，我们首先应用一个硬门控 `C = (r_fmt=1 ∧ r_rep=1)`；如果 `C` 不满足，最终奖励设为零。当 `C` 满足时，我们为正确回复分配 `r_final=1`，否则 `r_final=0.1`。对于正确回复，额外应用步骤级语言一致性奖励：`r_final=1.1` 如果 `r_SLC=1`，`r_final=1` 如果 `r_SLC=0`。

\[
r_{\text{final}} = \begin{cases}
1.1, & \text{if } C \land (r_{\text{acc}}=1) \land (r_{\text{SLC}}=1),\\
1, & \text{if } C \land (r_{\text{acc}}=1) \land (r_{\text{SLC}}=0),\\
0.1, & \text{if } C \land (r_{\text{acc}}=0),\\
0, & \text{otherwise},
\end{cases} \quad (2)
\]

\[
C = (r_{\text{fmt}}=1 \land r_{\text{rep}}=1). \quad (3)
\]

这种奖励设计不仅强制执行高质量的推理过程，还鼓励模型逐步转换推理语言，同时保持任务性能。

### 渐进式代码切换强化学习

尽管初始模型通过冷启动训练获得了初步的代码切换推理能力，但其代码切换比例（即 `SLC(T,L)`）仍然较低，远未达到完全的目标语言推理。然后我们采用带课程学习的强化学习来逐步提高 `SLC(T,L)`。基于我们的奖励建模，我们从开始时将 `τ` 设为 10%，并在强化学习训练过程中逐步增加 `τ` 至 95%。我们跟踪一个批量级的课程进度指标，记为 `Pass@SLC(τ)`，定义为达到 `SLC(T,L) ≥ τ` 的回复数量与满足格式和正确性约束的总回复数的比值。

给定调整间隔 `k` 和增量 `Δτ`，我们每 `k` 个强化学习优化步骤评估一次 `Pass@SLC(τ)`，并按如下方式更新阈值：

\[
\tau \leftarrow \begin{cases}
\min(\tau + \Delta\tau,\; 0.95), & \text{if } \mathrm{Pass@SLC}(\tau) \geq 0.9,\\
\tau, & \text{otherwise}.
\end{cases} \quad (4)
\]

在实验中我们设置 `k=40` 和 `Δτ=0.1`。当 `Pass@SLC(τ)` 达到 0.9 时，表明当前阶段的语言转换奖励已饱和（因此信息量较少）。增加 `τ` 使语言一致性奖励重新变得有意义，并对应更难的课程，因为更高的 `τ` 要求更大比例的推理步骤使用目标语言。

我们设计逐步增加的 `τ` 来鼓励模型逐步转换每一步的推理语言，而不是直接根据 `SLC(T,L)` 分配语言奖励（例如，`SLC(T,L)` 越高奖励越高）。这是基于以下事实：通过代码切换推理将推理能力从英语迁移到目标语言通常是一个缓慢的适应过程。过于激进或缺乏由易到难课程表的策略可能导致模型过度优化语言一致性，而牺牲更重要的跨语言迁移和推理性能目标。随着 `SLC(T,L)` 增加，策略分布与 SFT 模型的偏差越来越大，进而导致 KL 散度增大和训练不稳定。在我们的实验中，初始 KL 约束限制了语言切换效率，因此我们通过在 KL 损失超过经验阈值 0.2 时将参考模型重置为当前策略，然后应用系数为 0.001 的 KL 惩罚来缓解此问题。

我们在实验中使用 GRPO 优化策略模型。

## 实验

### 实验设置

| 方法 | SLC&Acc | Acc | SLC | SLC&Acc | Acc | SLC | SLC&Acc | Acc | SLC | SLC&Acc | Acc | SLC | SLC&Acc | Acc | SLC | SLC&Acc | Acc | SLC |
|------|---------|-----|-----|---------|-----|-----|---------|-----|-----|---------|-----|-----|---------|-----|-----|---------|-----|-----|
| | | | | | | | | | | | | | | | | | | |
| MMATH | Qwen3-8B | 0.0 | 27.0 | 8.1 | 0.0 | 25.0 | 6.7 | 0.1 | 23.1 | 6.3 | 0.0 | 22.4 | 5.9 | 0.0 | 22.7 | 6.4 | 0.0 | 24.2 |
| Prompt Control | 0.0 | 30.1 | 10.2 | 0.2 | 28.1 | 9.4 | 0.0 | 22.0 | 7.9 | 0.0 | 23.6 | 8.9 | 2.7 | 21.8 | 17.8 | 0.6 | 25.8 |
| Prefix Control | 22.9 | 30.6 | 87.1 | 26.7 | 30.2 | 94.3 | 19.2 | 19.8 | 98.4 | 21.2 | 22.4 | 95.9 | 20.9 | 21.0 | 98.9 | 22.2 | 24.1 |
| SFT | 14.1 | 32.2 | 83.1 | 12.8 | 34.3 | 70.5 | 9.8 | 9.8 | 99.0 | 20.8 | 23.3 | 92.5 | 25.3 | 25.4 | 99.4 | 16.6 | 25.9 |
| Naive-RL | 0.1 | 41.6 | 6.5 | 0.2 | 39.5 | 9.0 | 0.1 | 40.3 | 3.7 | 0.2 | 38.8 | 10.1 | 0.1 | 39.9 | 7.1 | 0.1 | 46.1 |
| RLC-RL | 30.9 | 35.0 | 96.5 | 32.9 | 35.1 | 97.0 | 30.9 | 30.9 | 99.7 | 26.8 | 28.1 | 98.2 | 29.5 | 29.8 | 99.8 | 30.2 | 39.8 |
| M-Thinker | 33.2 | 41.6 | 93.9 | 36.4 | 41.2 | 93.7 | 35.1 | 36.6 | 95.7 | 31.9 | 37.7 | 92.7 | 33.1 | 36.8 | 92.1 | 34.0 | 45.4 |
| **PCS** | **41.2** | **42.6** | **98.0** | **37.2** | **39.2** | **97.1** | **36.8** | **38.1** | **98.3** | **33.6** | **33.8** | **98.9** | **36.7** | **37.6** | **95.6** | **37.1** | **45.0** |
| MMLU-ProX_math | Qwen3-8B | 0.1 | 51.7 | 20.6 | 0.0 | 42.4 | 19.6 | 0.0 | 44.1 | 19.2 | 0.1 | 38.3 | 19.8 | 0.0 | 50.9 | 21.8 | 0.0 | 57.0 |
| Prompt Control | 0.0 | 68.0 | 24.7 | 0.2 | 67.7 | 24.3 | 0.0 | 65.1 | 25.0 | 0.2 | 67.5 | 24.3 | 1.3 | 58.6 | 27.1 | 0.4 | 55.3 |
| Prefix Control | 39.5 | 48.4 | 90.4 | 40.7 | 45.8 | 94.3 | 28.9 | 29.1 | 98.5 | 23.3 | 24.0 | 98.1 | 39.5 | 39.8 | 99.0 | 34.4 | 55.8 |
| SFT | 41.5 | 65.6 | 90.5 | 30.3 | 66.3 | 80.4 | 0.4 | 0.4 | 99.0 | 8.6 | 10.0 | 95.9 | 54.5 | 54.7 | 99.4 | 27.1 | 65.9 |
| Naive-RL | 1.7 | 82.6 | 16.6 | 1.3 | 82.9 | 22.3 | 0.7 | 80.3 | 14.1 | 2.0 | 79.9 | 30.2 | 2.0 | 80.4 | 20.5 | 1.5 | 85.7 |
| RLC-RL | 75.2 | 80.5 | 97.5 | 74.5 | 80.6 | 96.3 | 74.9 | 75.0 | 99.7 | 70.8 | 74.1 | 97.8 | 75.4 | 75.6 | 99.8 | 74.2 | 83.2 |
| M-Thinker | 58.4 | 79.6 | 92.6 | 53.7 | 80.3 | 91.3 | 74.6 | 76.2 | 97.6 | 69.8 | 78.3 | 94.7 | 74.0 | 77.7 | 96.7 | 66.1 | 83.4 |
| **PCS** | **79.9** | **83.1** | **98.0** | **78.3** | **81.2** | **97.4** | **76.8** | **77.2** | **99.4** | **75.5** | **77.4** | **98.4** | **75.2** | **75.9** | **99.5** | **77.1** | **85.4** |

表 2：在 MMATH 和 MMLU-ProX_math 上对 Qwen3-8B-Base 模型的主要结果。

#### 骨干网络与语言

我们采用 Qwen3-4B-Base 和 Qwen3-8B-Base 作为骨干模型。我们在多种语言上评估 PCS——法语（fr）、葡萄牙语（pt）、日语（ja）、韩语（ko）和泰语（th）——以检查其在类型学上不同语言上的有效性。

#### 数据

我们为不同基线和 PCS 设计了一致的设置。请参考附录 A (https://arxiv.org/html/2607.00485#A1)。

#### 评估细节

我们在 MMLU-ProX (Xuan et al. 2025 (https://arxiv.org/html/2607.00485#bib.bib24)) 和 MMATH (Luo et al. 2025 (https://arxiv.org/html/2607.00485#bib.bib7)) 的数学子集上评估。我们使用三个指标：**步骤级语言一致性 (SLC)**，衡量目标语言推理步骤的比例；**准确率 (Acc)**，衡量答案正确性；**SLC&Acc**，即既正确又语言一致（SLC ≥ 0.9）的回复百分比，作为我们的主要指标。我们使用 SLC ≥ 0.9 来容忍少量语言无关或偏离的非目标标记，同时仍然反映实际的目标语言推理。我们在 MMATH 上报告 avg@4，该任务更难且在长推理中更随机；在 MMLU-ProX_math 上报告 avg@1，遵循标准的零样本设置。对于 MMATH，我们对其四个子集（MATH500, CNMO, AIME2024, AIME2025）进行宏平均，以考虑它们不同的难度水平。

#### 基线方法

- **Qwen3-4/8B**：我们在相同上下文限制下以思考模式评估后训练模型。
- **Prompt Control**：Wang 等人 (2025a (https://arxiv.org/html/2607.00485#bib.bib9)) 在推理时附加语言控制指令（见图 8 (https://arxiv.org/html/2607.00485#A3.F8)）。
- **Prefix Control**：遵循 Qi 等人 (2025a (https://arxiv.org/html/2607.00485#bib.bib20))，我们在问题语言中添加“Okay”在“”之后，以引导推理语言而不更新参数。
- **SFT**：在由 DeepSeek-V3.2-Exp 蒸馏的语言一致监督数据上微调基础模型。
- **Naive RL**：仅根据回复正确性优化 SFT 模型。
- **SoftLC RL**：(Mistral-AI et al. 2025 (https://arxiv.org/html/2607.00485#bib.bib8)) 为 Naive RL 添加一个软响应级语言奖励（0.1）用于目标语言回复。
- **M-Thinker**：Zhang 等人 (2026 (https://arxiv.org/html/2607.00485#bib.bib11)) 使用 DeepSeek-V3 添加跨语言思维对齐奖励。我们在我们的实验设置下复现了 M-Thinker。

### 实验结果

表冷启动 (https://arxiv.org/html/2607.00485#Sx2.SSx2) 和实验设置 (https://arxiv.org/html/2607.00485#Sx3.SSx1) 展示了在 MMATH 和 MMLU-ProX_math 上的主要结果。在两个基准测试和所有五种目标语言（fr/pt/ja/ko/th）上，PCS 在我们的主要指标 SLC&Acc 下始终获得最佳整体性能。

#### PCS 在正确性和目标语言推理之间实现了最佳平衡。

与后训练模型和推理时控制方法相比，PCS 在保持较强准确率的同时大幅提高了 SLC。Prompt Control 对推理语言的引导较弱，而 Prefix Control 虽然更激进地强制目标语言推理，但常常损害准确率。这表明在推理时直接约束推理语言不足以实现有效的多语言推理迁移。相比之下，PCS 通过训练时的迁移提高了语言一致性，从而获得了更强的联合性能。

#### PCS 优于 SFT 和强化学习基线。

在蒸馏的多语言轨迹上进行 SFT 提高了语言一致性，但监督式多语言推理数据的质量和规模限制了其提升。我们还观察到，SFT 在某些语言中会引入严重的重复问题；例如，在表冷启动 (https://arxiv.org/html/2607.00485#Sx2.SSx2) 中，日语因重复而出现明显的性能下降。Naive RL 保持了相对较强的准确率，但通常回退到英语推理，导致 SLC 非常低。SoftLC RL 通过响应级语言奖励提高了 SLC，但在 SLC&Acc 上仍明显落后于 PCS。总体而言，这些结果表明，无论是 SFT 还是带有语言一致性奖励的强化学习都不足够：有效的多语言推理迁移需要逐步转换推理语言。

#### PCS 以更少的监督实现了稳定的语言迁移。

在所有基准测试中，PCS 获得了最高的 SLC，平均达到约 96-98%，同时保持了具有竞争力的准确率。与 M-Thinker 相比，PCS 在不依赖更强 LRM 蒸馏的目标语言推理轨迹或更强裁判模型监督的情况下，达到了相当的整体性能。在我们的复现中，M-Thinker 在响应级语言控制下更容易受到奖励黑客攻击，尽管任务性能相对较强，但 SLC 较低。此外，M-Thinker 需要外部裁判模型进行在线奖励评估，这给强化学习训练引入了不可忽略的延迟，并可能降低整体硬件利用率。虽然这种开销可以通过更大的裁判服务设置来缓解，但代价是需要额外的计算资源。相比之下，PCS 仅使用轻量级语言检测，从而实现了更资源高效的迁移过程。我们在以下部分更详细地分析这些行为。

## 分析

### 缓解语言一致性奖励的奖励黑客攻击

参考图 3：部分 M-Thinker 的思考过程。SoftLC RL 和 M-Thinker 基线都使用响应级语言一致性奖励，这将语言识别简化为基于现成语言检测工具的二元决策。在我们的实验中，这种设计对于 SoftLC RL 基本有效。然而，相同的响应级约束对于 M-Thinker 变得无效。如图 3 (https://arxiv.org/html/2607.00485#Sx4.F3) 所示，当与更强裁判模型提供的跨语言思维对齐（CTA）奖励结合时，M-Thinker 经常产生低质量的“目标语言”推理，其中频繁出现中文和英文单词。这表明策略学会了**黑客攻击**响应级语言约束：它利用更强的英语/中文推理模式来最大化 CTA 奖励，同时插入足够的目标语言线索以通过粗略的语言检测器，而不是真正进行目标语言推理。我们在附录 E (https://arxiv.org/html/2607.00485#A5) 中提供了这种奖励黑客攻击问题的详细案例研究。

### 推理语言迁移动态

参考图 4：PCS 的 SLC(T,L)、τ 和准确率的训练曲线。图 4 (https://arxiv.org/html/2607.00485#Sx4.F4) 展示了训练过程中准确率、τ 和 SLC(T,L) 的演化。随着 τ 增加，SLC(T,L) 稳步上升，最终接近 100%，表明几乎完全的目标语言推理。然而，增加 SLC(T,L) 也使优化变得困难，因为更强的 SLC(T,L) 约束可能与任务性能冲突：推动模型减少英语推理步骤往往倾向于降低准确率。为了避免这种权衡，我们在奖励设计中为正确性分配了更高的优先级。结果，准确率保持相对稳定，而 SLC(T,L) 显著提升。总体而言，PCS 成功地转换了推理语言，仅带来了微小的性能损失。

### 课程的重要性

我们基于 SLC(T,L) 在 PCS 中引入了课程学习范式。为了研究这种课程安排是否必要，我们设计了一项消融实验，移除课程，替换为一种直接且连续激励更高 SLC(T,L) 值的奖励塑造策略。