标签
提出了 TD-Aug 方法，通过从几何视野模型（基于 TD-Flows 训练）中采样来想象新的目标状态，为目标条件行为克隆提供数据增强，显著提升了策略在 OGBench 拼接任务中的零样本组合泛化能力。
论文提出 World-Model Policy Arbiter (WMPA)，一个测试时框架，通过在学习到的世界模型中推演多个冻结的目标条件策略并用共享价值函数进行评分，在 OGBench 上将宏平均成功率从 44% 提升至 58%。
本文提出了面向控制的有向时序表示方法（DTRC），该方法在冻结的 LeWorldModel 特征之上，从离线视觉轨迹中学习有向时序拟度量，并将其作为目标相对进度信号，用于直接的目标条件策略学习，在十个视觉任务中均实现了出色的控制性能。
论文提出了 Generalized Implicit Temporal Abstraction（GITA），这是一种用于离线目标条件强化学习的方法，在多个时间抽象尺度上训练单个 k 条件价值函数，从而解决了长程价值信号与局部分辨率之间的权衡问题。GITA 在 OGBench 上超越了 HIQL 和 OTA 等离线 GCRL 基线方法，相比 HIQL 将平均成功率提升了 25 个百分点。
本文介绍了安全离线强化学习中的认证安全策展，采用过滤后克隆流程，通过无分布保证来选择安全轨迹，而无需在每个转换上设置成本函数。
本文研究了用于代码生成LLMs后训练的离线强化学习，表明通过使用现有数据集，无需在线采样，就能提升零样本代码生成的性能。
本文介绍了一种方法，从离线轨迹中提取拓扑必要条件作为机制不变的子目标，从而实现目标条件强化学习中的跨具身转移，并在基准任务上取得了经验性改进。
本文介绍了DCRL，一种用于离线目标条件强化学习的分治方法，通过递归二叉树分解减少长期任务中的错误累积，在OGBench基准测试中实现了性能提升。
DiDrive是一种用于自动驾驶安全离线强化学习的风险感知分层扩散框架，通过集成表示学习和分布校正优化，提升复杂交通场景中的性能。
本文提出LAC（LightActor，deepCritic），一种离线强化学习方法，通过将模型容量分配给critic以提高推理效率，在匹配复杂生成Actor性能的同时实现更低延迟。
本文首次将校准模型应用于真实工业场景中的离线超参数选择，以市政水处理厂为例，展示了这些模型能够生成逼真的轨迹并恢复超参数敏感性趋势。
本文提出CSDG，一种离线强化学习方法，将Bellman备份表示为样本内目标加上凸包邻域局部修正，从而控制OOD动作估计误差并提高价值稳定性。
Sergey Levine 宣布将在 ICML 2026 离线数据集决策研讨会发表演讲，内容涵盖从基于模型的优化到离线强化学习的数据驱动决策基础。
本文提出NFTR，一种用于离线目标条件强化学习的方法，该方法使用归一化流作为子目标策略，并采用三角松弛重新加权以解决层次隐式Q学习中的乐观偏差和模式坍缩问题。
本文通过一个使用离线强化学习训练的Harness MDP，将LLM Agent周围的执行框架形式化为一个可学习的控制层，展示了在多个领域中的验证行为和最终质量的改进。
AETDICE 提出了一种用于离线场景下非线性多目标强化学习的统一框架，通过密度比估计桥接了 SER 和 ESR 两种范式。
RS-Diffuser 提出了一种风险敏感的离线扩散规划框架，结合扩散轨迹生成和分布值批评器，通过尾部感知目标在推理时灵活调整风险偏好，在安全关键任务中提升了回报和鲁棒性。
本文介绍了LDM-v0，一个在来自数千个多样强化学习环境的轨迹上离线训练的大决策模型，证明了单一的Transformer策略可以在机器人、自动驾驶、库存管理、网络安全、交易和视频游戏等领域匹配特定任务策略的性能。
本文研究了不同的离线强化学习损失函数（RFT、RIFT、DFT、Offline GRPO、DPO）在推理蒸馏中是否会在小型语言模型中产生机制上不同的权重更新。使用相同的数学展开和受控设置（Qwen3-4B 和仅注意力的 LoRA），他们发现 SFT、RFT 和 RIFT 的权重增量几乎共线，而 DPO 位于一个近乎正交的子空间中，并取得了最高的准确率。
一种新的离策略强化学习方法，使用扩散模型，通过反转扩散过程来处理离策略数据。