test-time-reinforcement-learning

本文诊断了由于答案空间结构导致的医学问答测试时强化学习的失败，并介绍了PROSE，它通过奖励推理质量来在无标签数据下提升模型性能。

SERPO 提出了一种自演化评分策略优化框架，用于开放式生成中的测试时强化学习，用闭环替代答案投票，该闭环协同进化响应证据、查询特定评分标准和策略参数，在健康和研究基准上取得了显著改进。

介绍了测试时强化学习（TTRL），一种利用未标注数据上的多数投票创建伪标签以进行强化学习训练的方法，使LLM能够在不依赖真实答案的情况下自我改进。在AIME 2024上取得了显著提升（例如，Qwen-2.5-Math-7B提升159-211%）。