无标签引导：将测试时强化学习压缩到仅偏置的子空间中

Hugging Face Daily Papers 论文
test-time-rl parameter-efficient-fine-tuning steering-vectors pseudo-labeling reasoning qwen

摘要

论文提出了无标签的仅偏置 TTRL 方法，使用多数投票伪标签作为奖励信号，在冻结骨干网络的前提下仅优化约 10 万个偏置参数，使用 Qwen2.5-7B 在 MATH-500 上达到 76.67% 的准确率，并可迁移到视觉-语言与音频推理任务。

测试时强化学习（Test-time Reinforcement Learning，TTRL）能够让模型在不依赖标注训练数据的情况下提升自身的推理能力，但现有的方法通常需要优化模型中很大一部分参数。这引出一个自然的问题：当奖励信号和优化空间都被严重受限时，有效的测试时适应还能否出现？我们用无标签的仅偏置 TTRL 对此作出回答——该方法以多数投票伪标签作为奖励信号，在保持预训练骨干网络冻结的同时，仅优化约 10 万个偏置参数。在 MATH-500 上，我们的方法使用 Qwen2.5-7B 达到了 76.67% 的准确率，略高于我们自己复现的带标签偏置引导方法，而所优化的参数量比全参数 TTRL 少了 76,000 倍。同一训练流程在视觉-语言与音频推理任务上也提升了性能，包括 MathVista、AI2D、LogicVista 和 MMAU。我们进一步表明，学习到的引导向量能够迁移到 4,500 个保留的 MATH 题目上，说明这种适应并非局限于测试时优化所使用的题目。最后，我们分析了这种高度受限的适应方式为何能够奏效，展示了多数投票的可靠性会随采样结果的一致性而提升，并且具有更大可达梯度能量的偏置子空间表现出更强的下游可训练性。这些结果表明，仅通过使用完全无标签的奖励信号来优化一个极小的仅偏置子空间，就能涌现出显著的测试时适应能力。
查看原文
查看缓存全文

缓存时间: 2026/10/01 16:24

论文页面 - 无标签引导：将测试时强化学习压缩到仅偏置子空间

来源：https://huggingface.co/papers/2609.18587

摘要

测试时强化学习（TTRL）使模型能够在不依赖标注训练数据的情况下提升推理能力，但现有方法通常需要优化模型中相当大比例的参数。这自然引出一个问题：当奖励信号和优化空间都受到严格限制时，有效的测试时自适应还能产生吗？我们用无标签的“仅偏置“TTRL 回答了这一问题：该方法使用多数投票伪标签作为奖励，在保持预训练骨干网络冻结的前提下，仅优化约 10 万（100K）个偏置参数。在 MATH-500 上，我们的方法使用 Qwen2.5-7B 达到了 76.67% 的准确率，略微超过了我们自己复现的带标签偏置引导基线，且优化参数量比全参数 TTRL 少 76,000 倍。相同的训练流程在视觉-语言和音频推理任务上也带来了性能提升，包括 MathVista、AI2D、LogicVista 和 MMAU。我们进一步展示了所学得的引导向量可以迁移到 4,500 个未见过的 MATH 题目上，说明这种自适应并不局限于测试时优化所使用的题目。最后，我们分析了这种高度受限的自适应为何能够奏效，发现多数投票的可靠性会随采样（rollout）共识度的提高而提升，且具有更大可获取梯度能量的偏置子空间表现出更强的下游可训练性。这些结果表明，仅通过优化一个极小的“仅偏置“子空间并使用完全无标签的奖励，也能实现显著的测试时自适应。

查看 arXiv 页面 (https://arxiv.org/abs/2609.18587) 查看 PDF (https://arxiv.org/pdf/2609.18587) 项目页面 (https://www.olaresearch.org/LabelFreeSteering) GitHub0 (https://github.com/OLAResearch/LabelFreeSteering) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2609.18587)

在你的 Agent 中获取本文：

hf papers read 2609.18587

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型0

暂无模型关联到本文

在模型 README.md 中引用 arxiv.org/abs/2609.18587，即可从本页面关联到该模型。

引用本文的数据集0

暂无数据集关联到本文

在数据集 README.md 中引用 arxiv.org/abs/2609.18587，即可从本页面关联到该数据集。

引用本文的 Spaces0

暂无 Space 关联到本文

在 Space README.md 中引用 arxiv.org/abs/2609.18587，即可从本页面关联到该 Space。

包含本文的收藏集1

相似文章

不要偷看答案：面向无标签 RLVR 的结果掩码组相对策略优化

arXiv cs.AI

本文提出 OM-GRPO，一种无标签 RLVR 框架，通过对答案片段上的梯度进行掩码，将奖励估计与策略优化解耦，并引入对比增强奖励（Contrast-Augmented Reward），无需额外采样即可细化奖励估计。该框架在多种推理基准上持续优于现有无标签方法，并与有监督的 ground-truth 奖励训练表现相当。

基于奖励门控的CLIP选择性测试时去偏

arXiv cs.CL

介绍了奖励门控测试时自适应（RG-TTA），这是一个强化学习框架，根据输入的偏差敏感性选择性地对CLIP模型应用去偏，解决了公平性与效用之间的权衡问题。

通用推理的可迁移性：多领域RLVR的自动化课程设计

Hugging Face Daily Papers

本文提出了一种迁移感知课程（TAC），这是一种基于多臂老虎机风格的多领域RLVR在线课程，通过梯度几何对齐优先选择其更新能惠及其他领域的领域。与固定课程和仅基于可学习性的课程相比，TAC在Qwen3-1.7B和Llama3.2-3B上提升了宏观平均准确率。