标签
本文通过一个使用离线强化学习训练的Harness MDP，将LLM Agent周围的执行框架形式化为一个可学习的控制层，展示了在多个领域中的验证行为和最终质量的改进。
AETDICE 提出了一种用于离线场景下非线性多目标强化学习的统一框架，通过密度比估计桥接了 SER 和 ESR 两种范式。
RS-Diffuser 提出了一种风险敏感的离线扩散规划框架，结合扩散轨迹生成和分布值批评器，通过尾部感知目标在推理时灵活调整风险偏好，在安全关键任务中提升了回报和鲁棒性。
本文介绍了LDM-v0，一个在来自数千个多样强化学习环境的轨迹上离线训练的大决策模型，证明了单一的Transformer策略可以在机器人、自动驾驶、库存管理、网络安全、交易和视频游戏等领域匹配特定任务策略的性能。
本文研究了不同的离线强化学习损失函数（RFT、RIFT、DFT、Offline GRPO、DPO）在推理蒸馏中是否会在小型语言模型中产生机制上不同的权重更新。使用相同的数学展开和受控设置（Qwen3-4B 和仅注意力的 LoRA），他们发现 SFT、RFT 和 RIFT 的权重增量几乎共线，而 DPO 位于一个近乎正交的子空间中，并取得了最高的准确率。
一种新的离策略强化学习方法，使用扩散模型，通过反转扩散过程来处理离策略数据。
RQL是一种用于离线流强化学习的新算法，它将流步骤视为MDP步骤，并使用反向流来生成后见之明轨迹。
提出将流程步骤视为 RL 动作，并结合“流反转”技术用于流程离线强化学习。
本文提出了Reversal Q-Learning（RQL），一种离线强化学习算法，它利用扩展马尔可夫决策过程框架和技术训练流策略，无需随时间反向传播即可实现离策略强化学习。该算法在具有挑战性的模拟机器人任务上达到了最先进的性能。
本文为基于轨迹级结果监督的离线强化学习建立了统计理论，提出了OPAC算法，并刻画了在此类监督下何时能够实现高效学习，以及何时存在根本性障碍。
提出一种神经符号框架，通过可微自动机表示和基于逻辑的损失函数，将LTLf约束注入基于Transformer的强化学习策略中，在保持竞争性回报的同时提高约束满足度。
UNIQ引入了一种用于离线强化学习的共形校准方法，该方法基于不确定性对每个状态自适应调整保守性，在部分D4RL基准测试上优于IQL，同时保持内存效率。
Dual Advantage Fields (DAF) 是一种用于离线目标条件强化学习的策略提取方法，它将双线性对偶价值模型转化为局部优势信号，通过学习预测特征位移的动作效应模型，并根据位移与目标方向的对齐程度对动作进行评分。该方法被 ICML 2026 决策研讨会接收，在 OGBench 的移动、操控和谜题任务中展示了改进的性能。
介绍了LEDE，一个利用离线强化学习动态选择退出层和推测长度的框架，用于LLM的自推测解码，相较于自回归解码实现了高达2.7倍的加速。
矩匹配Q学习（MoMa QL）利用最大均值差异来匹配所有阶矩统计量，实现离线强化学习中的分布级收敛，在D4RL任务上兼具计算效率和强劲性能。
本文提出了 Q-align DT 框架，该框架将 return-to-go 与 Q 值对齐，以提高离线强化学习中的可控性和性能，在 D4RL 基准上取得了优异的结果。
提出模型基扩散策略优化（MBDPO）框架，该框架通过扩散策略表示统一了世界模型中的搜索与策略优化，在离线与在线强化学习任务中实现一致的扩展行为和卓越性能。
本文介绍了CARL，一种利用局部动态规律学习可复用技能的离线分层强化学习方法。该方法将需要相似动作序列的状态-目标对进行聚类，从而实现更有效的技能复用，并在复杂的人形机器人任务上提升了性能。
介绍 GORMPO，一种密度正则化的离线强化学习算法，使用生成式密度建模将策略更新限制在高密度区域，在真实世界医疗数据集上实现17%的提升，并超越最先进的基线模型。
本文介绍了 ACSAC，一种强化学习方法，它使用带有因果 Transformer Q 网络的自适应 Chunk Size Actor-Critic 算法来处理长期限、稀疏奖励任务。通过根据状态需求动态调整动作 Chunk Size，该方法在操控任务中展示了最先进的性能。