value-estimation

论文提出 CITA 方法，训练一个比较推理模型（CIM），在执行可能的下一步工具调用之前先估计其长程价值，从而在三个工具使用基准和多个 LLM 主干模型上提升了 Tool F1 与任务成功率。

该论文提出了RSIQL，一种非层次化的离线目标条件强化学习方法，通过使用选择性奖励刺激来提升在D4RL等基准测试上的性能。

本文提出CSDG，一种离线强化学习方法，将Bellman备份表示为样本内目标加上凸包邻域局部修正，从而控制OOD动作估计误差并提高价值稳定性。

本文提出了World Value Model (WVM)，一种通用机器人价值模型，它将世界模型与价值估计相结合，以准确评估任务进展，并从混合质量数据中改进机器人策略学习，在标准基准和新的次优数据基准上取得了最先进的结果。

本文介绍了 POISE，一种通过利用模型自身内部状态来估计基线，从而在大型推理模型中实现稳定策略优化的方法，与 PPO 和 GRPO 相比，该方法降低了计算开销。