标签
提出多时间尺度分层世界-动作模型（MHWA），通过分层时间抽象缓解自回归世界模型开环预测中的漂移与误差累积问题，在样本高效决策上优于扁平基线。
论文提出了 Generalized Implicit Temporal Abstraction（GITA），这是一种用于离线目标条件强化学习的方法，在多个时间抽象尺度上训练单个 k 条件价值函数，从而解决了长程价值信号与局部分辨率之间的权衡问题。GITA 在 OGBench 上超越了 HIQL 和 OTA 等离线 GCRL 基线方法，相比 HIQL 将平均成功率提升了 25 个百分点。
本文分析了强化学习中的 Option-Critic 框架，解释了学习到的终止规则是冗余的，引入了'政策坏死'的概念，即选项无法探索，并展示了通过增加选项来减少联合失败的概率，从而提升性能。
SPACE 通过从成功轨迹归纳两层参数化技能，将子技能边界作为动作块监督，训练长程 LLM Agent 自适应输出可变长原子动作序列；在 ALFWorld 和 ScienceWorld 上成功率提升 7.0%–31.3%，决策轮次最多降低 78.9%。
本文提出了一种名为ToSCA的两层层次化强化学习框架，用于会话智能体。该框架结合DQN和PPO，并采用双粒度奖励机制，以提升多轮对话中的策略判定和响应质量。
Rich Sutton 讨论了在人工智能研究中依赖一步预测的常见错误，并提倡使用选项和GVF的时间抽象模型。