value-estimation

本文提出CSDG，一种离线强化学习方法，将Bellman备份表示为样本内目标加上凸包邻域局部修正，从而控制OOD动作估计误差并提高价值稳定性。

本文提出了World Value Model (WVM)，一种通用机器人价值模型，它将世界模型与价值估计相结合，以准确评估任务进展，并从混合质量数据中改进机器人策略学习，在标准基准和新的次优数据基准上取得了最先进的结果。

本文介绍了 POISE，一种通过利用模型自身内部状态来估计基线，从而在大型推理模型中实现稳定策略优化的方法，与 PPO 和 GRPO 相比，该方法降低了计算开销。