论文页 - TTPO: 测试时策略优化

来源: https://huggingface.co/papers/2608.27448

摘要

测试时策略优化通过非对称地蒸馏一致的推理路径并惩罚不一致的路径，实现了无需标签的测试时训练以增强数学推理能力，其性能可与监督学习方法相媲美。

近期的强化学习 (https://huggingface.co/papers?q=Reinforcement%20Learning) 和在策略自蒸馏 (https://huggingface.co/papers?q=On-Policy%20Self-Distillation) 等前沿后训练方法推动了大语言模型在数学推理方面的快速发展，但它们对真实标签的依赖使得测试时训练 (https://huggingface.co/papers?q=test-time%20training) 成为可能。用多数投票伪标签 (https://huggingface.co/papers?q=majority-vote%20pseudo-labels) 替代真实标签是一种自然的替代方案，但该方法很脆弱：一次错误的投票会污染教师模型并误导每一个生成的词元。我们观察到这种失败模式具有不对称性：与伪标签不一致的推理路径，无论投票本身是否正确，通常都是错误的。基于这一观察，我们提出了测试时策略优化 (https://huggingface.co/papers?q=Test-Time%20Policy%20Optimization) ，这是一种非对称目标函数：它通过在策略自蒸馏中蒸馏一致的推理路径，并通过分组强化学习 (https://huggingface.co/papers?q=Grouped%20RL) 惩罚不一致的推理路径。词元级选择 (https://huggingface.co/papers?q=Token-level%20selection) 进一步优化了两个分支：蒸馏过程降低已收敛位置的权重，而强化学习仅惩罚有把握的错误。即使在伪标签频繁出错的情况下，这两种更新也能保持稳定性，并且随着模型性能提升，多数投票路由能提供更紧密的自监督。在没有任何标签的情况下，TTPO在五个竞赛级基准测试上匹配了使用标签监督的在策略自蒸馏的性能，将Qwen3-1.7B在测试时训练中的表现从38.0%提升至45.2%，在无思考模式下带来了+25.2%至+36.4%的提升，并展现出强大的跨任务泛化能力。

查看arXiv页面 (https://arxiv.org/abs/2608.27448) 查看PDF (https://arxiv.org/pdf/2608.27448) 项目页面 (https://zju-real.github.io/TTPO/) GitHub8 (https://github.com/ZJU-REAL/TTPO) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.27448)

在你的代理中获取此论文：

hf papers read 2608\.27448

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

无模型链接此论文

在模型README.md中引用 arxiv\.org/abs/2608\.27448 以从此页面链接。

引用此论文的数据集 0

无数据集链接此论文

在数据集README.md中引用 arxiv\.org/abs/2608\.27448 以从此页面链接。

引用此论文的Space 0

无Space链接此论文

在Space README.md中引用 arxiv\.org/abs/2608\.27448 以从此页面链接。

包含此论文的收藏 0

无收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接。