bellman-equation

贝尔曼策略优化 (BPO) 是一种无评论家的强化学习方法，它利用贝尔曼方程重新表述策略镜像下降 (PMD)，用于具有终端奖励的自回归生成，从而提升大语言模型的数学推理能力。

Gated-BEPO 是一种针对 LLM 智能体的新型信用分配方法，它利用贝尔曼不动点估计从经验回放图中推导出步骤级信用，并通过置信门将步骤级信用与回合级信用自适应地融合。在 WebShop、ALFWorld 和视觉 Sokoban 上的实验表明，相对于现有无评论家方法，该方法具有一致性的改进。