标签
本文解释了为何基于多数投票的自奖励能够达到可验证奖励强化学习的效果：在批次层面，不一致的标签错误会相互抵消，使更新方向与真实标签对应的梯度对齐；研究发现，决定自生成标签何时能够替代验证的是错误的一致性，而非错误率。
本文表明，对于小型指令微调LLM，在GPQA Diamond基准的大多数硬科学问题上，基于多数投票的自洽性（self-consistency）会适得其反，而诸如多数一致性或令牌熵等无验证器门控无法防止这一问题。预注册的验证性实验量化了准确率下降，并表明置信度并不反映正确性。
本文审计了LLM集成的五个多样性指标，发现它们与多数投票增益的关联与模型能力高度纠缠，且在控制能力后不稳定。唯一稳健的信号是适度的残差成对共失败关联。
本文发现，HateXplain中42.6%的标注者分歧集中在仇恨/冒犯边界，表明多数票压制了少数价值观，导致模型对有争议的输入输出错误但高度自信的预测。
介绍了测试时强化学习（TTRL），一种利用未标注数据上的多数投票创建伪标签以进行强化学习训练的方法，使LLM能够在不依赖真实答案的情况下自我改进。在AIME 2024上取得了显著提升（例如，Qwen-2.5-Math-7B提升159-211%）。
本文发现，语言模型在测试时采样中的推理轨迹会聚集成‘推理盆地’，当主导盆地错误时，会导致多数投票失败。本文提出了ARBITER，一种与模型无关的方法，利用模型自身输出和隐藏状态中的保守加性证据，无需外部数据即可提高准确性。