标签
该论文证明在基于正确性奖励的价值函数强化学习中，置信度估计与critic训练是等价问题，因此已有的RL critic可直接复用为LLM的置信度估计器，无需额外训练或数据，且在数学、代码、工具调用等多个领域中表现出最佳的置信度估计与校准性能。
论文提出了生成式价值分类器（GVC），通过建模以回报为条件的动作策略和回报先验，再利用贝叶斯法则推导出 Q(s,a)，从而重新定义了价值学习的方式。实验表明，在离线和在线任务中，该方法相比判别式方法和分布式强化学习基线均取得了性能提升。
论文提出 Q-Learning with Scalar Adjoint Matching (SQAM)，利用预训练流策略速度雅可比的对角集中特性推导出闭式标量伴随，消除了逐步向量-雅可比乘积开销，在 OGBench 最难的四个域上比最强基线高出 18 到 35 个百分点，并在真实双臂机器人视觉-语言-动作策略微调中优于监督微调。