论文页面 - On-Policy Delta Distillation for Multilingual Math Reasoning

Source: https://huggingface.co/papers/2608.05802

摘要

同策略蒸馏（On-Policy Distillation, OPD）正成为 LLM 后训练中强化学习的一种有前景的替代方案，但它在多语言环境中的有效性仍未得到充分探索。我们研究了 OPD 及其进阶变体同策略 Delta 蒸馏（On-Policy Delta Distillation, OPD^2），用于英语、韩语和日语的数学推理。OPD^2 通过使用后训练教师模型与其基础模型之间的概率差距作为学习信号来改进 OPD。基于 Qwen3 的实验表明，OPD^2 始终优于原始 OPD，在韩语和日语上提升尤为显著，并且总体上缩小了英语与韩语之间的性能差距。我们进一步发现，仅使用英语的 OPD 也能提升韩语和日语的表现，但往往会使回答偏向英语，这凸显了多语言数据在保持目标语言回答方面的重要性。

查看 arXiv 页面 (https://arxiv.org/abs/2608.05802) 查看 PDF (https://arxiv.org/pdf/2608.05802) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.05802)

在您的 agent 中获取此论文：

hf papers read 2608.05802

没有最新的 CLI？ curl -LsSf https://hf.co/cli/install.sh \| bash

引用此论文的模型0

没有关联此论文的模型

在模型 README.md 中引用 arxiv.org/abs/2608.05802，即可在此页面关联该模型。

引用此论文的数据集0

没有关联此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2608.05802，即可在此页面关联该数据集。

引用此论文的 Space0

没有关联此论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2608.05802，即可在此页面关联该 Space。

包含此论文的收藏集0

没有包含此论文的收藏集

将此论文添加到收藏集 (https://huggingface.co/new-collection)，即可在此页面关联该论文。