标签
提出了一种模型无关的连续时间强化学习框架 PhiBE-PI，仅用单个状态-动作评论家即可从离散时间离策略数据中学习策略，并在局部建立端到端次优性保证，同时揭示了时间离散化中的偏差-方差权衡。
本文提出了 TailCert，一种基于 PAC-Bayes Bernstein 界的方法，用于对从记录的上下文老虎机数据中选出的策略进行上尾分位数认证；并推导了匹配的有限类认证边界，展示了样本需求如何随重叠因子、策略搜索复杂度和安全裕度进行缩放。
论文提出 Gibbs-Gap 策略优化（GGPO），一种针对可验证奖励的离线/异步强化学习方法，通过最小化经 KL 调整的奖励的对数均值指数对比来避免高方差重要性权重，并在数学推理基准上优于 GRPO 和 AGRO。
本文提出一种基于 rollout 的训练框架（Anchor-Label Relabelling 与 In-Rollout Anchors），用于在离策略语料上训练的推测解码块草稿模型中恢复完整的监督信号，在不改动训练文本的情况下，将贪心解码下的接受长度较 DFlash 最多提升 36.5%。
本文介绍了正则化强调时序差分学习（RETD），该方法通过归一化强调TD信号，确保在常数步长下的稳定性，并提供了收敛性证明和实验验证。
Dream-RSI 是一个用于AI代理的可扩展递归自我改进框架，它利用历史发现树创建重放模拟器，用于离线策略评估，减少在线成本并提高发现效率。
本文提出环境演化方法，以离线方式逐步增加终端代理的任务难度，从而增强持续学习信号，并提升在Terminal-Bench 2.1等基准测试上的性能。
OpenAI 推出了Hindsight Experience Replay (HER)，这是一种强化学习技术，使机器人能够通过将实现的替代结果追溯性地作为成功目标来从失败的尝试中学习，即使在奖励信号稀疏的情况下也能进行学习。