Tag
该论文证明在基于正确性奖励的价值函数强化学习中，置信度估计与critic训练是等价问题，因此已有的RL critic可直接复用为LLM的置信度估计器，无需额外训练或数据，且在数学、代码、工具调用等多个领域中表现出最佳的置信度估计与校准性能。
The paper introduces the Generative Value Classifier (GVC), which reframes value learning by modeling a return-conditioned action policy and return prior to derive Q(s,a) via Bayes' rule, showing gains over discriminative and distributional RL baselines on offline and online tasks.
论文提出 Q-Learning with Scalar Adjoint Matching (SQAM)，利用预训练流策略速度雅可比的对角集中特性推导出闭式标量伴随，消除了逐步向量-雅可比乘积开销，在 OGBench 最难的四个域上比最强基线高出 18 到 35 个百分点，并在真实双臂机器人视觉-语言-动作策略微调中优于监督微调。