选项何时有帮助？Option-Critic 中的政策坏死与冗余覆盖

# 选项何时提供帮助？选项评论者中的策略坏死与冗余覆盖
来源：https://arxiv.org/html/2609.05508
冰云††脚注：同等贡献。†通讯作者。所属机构：自动化研究所所属机构：中国科学院邮箱：[[email protected]](mailto:[email protected])景宇恒\*†所属机构：自动化研究所所属机构：中国科学院邮箱：[[email protected]](mailto:[email protected])

###### 摘要
选项评论者学习选项：子策略以及一个学习到的规则，用于决定每个子策略何时将控制权交回。其标志性结果是，随着选项的添加，性能会提升。我们用理论和实验解释了这一结果。首先，选项评论者通过最大化回报学到的终止规则毫无贡献。当终止测试和选择选项的策略读取相同的值时，测试在每一步都会触发，因此学到的规则与始终终止完全相同。当该策略探索而测试不探索时，正如选项评论者本身的情况，规则会阻碍探索；在某些情况下，它遭受Ω(T)的遗憾，而始终终止能保持O(log T)。强制在每一步终止能保持选项数量曲线的完整。其次，选项内部的策略几乎不探索，因此状态会锁定在第一个看起来不错的动作上，再也不更新。我们将此称为策略坏死，给出一个状态级的测试，并发现典型选项中五分之三的状态是坏死的。恢复探索可以修复这些状态，此时一个选项就能解决任务。第三，额外的选项并不能改善任何单个选项；下降的是所有选项在同一状态都失败的概率，从59%降至4%，性能遵循这个联合量。

## 1 引言
选项框架为强化学习智能体提供了时间上延伸的动作：一个选项包括一个选项内策略、一个启动集和一个终止条件（Sutton等人，1999 (https://arxiv.org/html/2609.05508#bib.bib1)；Precup，2000 (https://arxiv.org/html/2609.05508#bib.bib2)）。选项评论者通过将折扣回报对选项内策略参数和终止参数进行微分，使该框架变得实用，因此控制目标本身塑造选项，而不是由设计者将其交给智能体（Bacon等人，2017 (https://arxiv.org/html/2609.05508#bib.bib3)）。其表格演示是FourRooms，该演示是一个缩放结果：随着选项增多，智能体更快地到达目标，并且随着动态难度的增加，效果会增长。该结果已被复现、扩展到连续控制，并在此基础上进行了多次构建（Klissarov等人，2017 (https://arxiv.org/html/2609.05508#bib.bib6)；Harb等人，2018 (https://arxiv.org/html/2609.05508#bib.bib4)；Riemer等人，2018 (https://arxiv.org/html/2609.05508#bib.bib7)；Zhang和Whiteson，2019 (https://arxiv.org/html/2609.05508#bib.bib8)；Khetarpal等人，2020 (https://arxiv.org/html/2609.05508#bib.bib9)）。

缩放结果所证明的东西并不像表面看起来那么清晰。当选项数量K增长时，有三件事同时发生。选项在时间上延伸，因此更大的选项集改变了行为的时间结构。选项是独立的函数逼近器，因此更大的选项集改变了底层的容量和优化几何。选项由学习到的路由器选择，因此更大的选项集改变了决策负担在原始动作之上的比重。性能随K变化的曲线无法分离它们，而将其解读为时间抽象的证据则假设另外两者毫无作用。本文将它们分离开来，答案并非时间抽象。我们一次操纵一个因素——终止规则、底层探索率和K——跨多个转移核、两种奖励定义以及表格和神经实现进行实验，并在零探索测试协议下，从冻结检查点中读取性能，该协议为每个条件提供相同的零探索测试策略。图1 (https://arxiv.org/html/2609.05508#S1.F1)展示了环境、智能体和假设；随后呈现三个结果，它们共同构成了对选项评论者所做之事的单一解释。

**选项评论者学到的终止函数并非性能的来源。**
我们的目标很具体：选项评论者通过最大化回报获得的终止规则，其不动点恰好在继续的收益低于交出控制权时终止。我们证明该规则要么是无效的，要么是有害的。当终止测试和选项选择器读取相同的值时，测试在每种状态下都会触发，因此学到的路径wise规则与β≡1相同，且毫无增益。当选择器探索而提供测试的批评者不探索时，规则可以否决选择器所要求的探索；我们展示了在某些实例上，最大化回报的规则遭受Ω(T)遗憾，而β≡1在该类的每个实例上都保持O(log T)。实验与理论相符。强制β≡1，这彻底破坏了时间延伸，但所有关于K的依赖性保持不变，并且学到的终止的效果随着K的增长而符号反转。

**选项评论者的底层遭受状态局部学习失败，我们可以检测它。**
原始算法将其选项内策略以温度10^{-3}的softmax运行，无底层探索，学习率0.25，在到达logits前将每个优势乘以250。一个状态会提交给第一次以正优势采样的动作；评分函数随后消失，状态永远不再更新。我们称之为*策略坏死*，并给出一个状态级的测试，它仅需要最优策略会接受的动作集合。在典型选项中，大约一半的状态是坏死的。从共享检查点重新启动底层探索可以修复它们：在相同的零探索评估下，单个选项的预期步骤数从306.7降至55.4，并在所有350个种子上都有改善。两种不同的探索机制在神经实现中重现了修复。

**额外选项提供的是冗余覆盖。**
添加选项不会修复任何单个选项——平均单选项坏死率在每个K下都保持在60%左右——但*每个*选项在同一状态都坏死的概率从59%降至4%，性能遵循这个联合量而非单个量。坏死集合的重叠程度超过独立预测，但远低于共同原因可能导致的水平，因此K个选项池的价值约为K/2次独立尝试覆盖状态空间。一旦联合覆盖存在，残余误差就转移到上层，转移到一个在可行选项可用时却选择坏死选项的路由器。并且，一旦探索修复了底层，进一步的选项开始不再带来回报，并开始产生成本。

三个结果共同构成。坏死是失败，选项多重性是一种掩盖它的变通方法，底层探索是一种消除它的修复方法，而终止梯度不起任何作用。除了对选项评论者的具体判断外，本文还贡献了一种廉价的诊断方法（只要存在可接受的动作集），一种关于为什么最大化回报的终止规则不能成为增益来源的理论解释，以及一种评估协议——冻结、在各处禁用探索、精确求解——在这种协议下，关于分层智能体学到了什么的主张可以得到解决而不是争论。

参考标题图1：基准、智能体和假设。(a) FourRooms，目标在东门（星号），对于每个非目标单元格，减少到目标的尊重墙壁距离的完整动作集；103个单元格中有65个允许两个。(b) 选项评论者循环和我们操纵的三个量；其他所有内容保持原始工作的值。(c) 当一个选项在某个状态的策略已经提交给任何最优策略都不会采取的动作时，该选项在该状态是坏死的，因此选项多重性作用于⋂oDo，而不是任何单个Do。

## 2 设置
**选项评论者。**一个选项o由一个选项内策略πo(a|s)π_{o}(a|s)和一个终止函数βo(s)β_{o}(s)组成；一个选项上的策略πΩ(o|s)π_{Ω}(o|s)在当前选项终止时选择下一个选项（Sutton等人，1999 (https://arxiv.org/html/2609.05508#bib.bib1)）。选项评论者从回报中学习这三者（Bacon等人，2017 (https://arxiv.org/html/2609.05508#bib.bib3)）。在我们研究的表格实现中，πoπ_{o}是偏好权重上的softmax，πo(a|s)∝exp(wo(s,a)/τ)π_{o}(a|s)∝exp(w_{o}(s,a)/τ)，并接收更新wo(s,⋅)←wo(s,⋅)+α(QU(s,o,a)−QΩ(s,o))(ea−πo(⋅|s))w_{o}(s,⋅)←w_{o}(s,⋅)+α(Q_{U}(s,o,a)-Q_{Ω}(s,o))(e_{a}-π_{o}(⋅|s))，(1)其中QU(s,o,a)Q_{U}(s,o,a)是批评者在s处于选项o下采取原始动作a的值，QΩ(s,o)Q_{Ω}(s,o)是从s运行选项o的值，因此它们的差是选项内优势，eae_{a}是在执行动作上的独热向量，使得ea−πo(⋅|s)e_{a}-π_{o}(⋅|s)成为softmax评分函数。终止函数βoβ_{o}是一个sigmoid，沿选项优势AΩ(s,o)=QΩ(s,o)−maxo′⁡QΩ(s,o′)A_{Ω}(s,o)=Q_{Ω}(s,o)-max_{o′}Q_{Ω}(s,o′)更新，而πΩπ_{Ω}在表格QΩQ_{Ω}上是εupε_{up}-贪心的。原始超参数为τ=10^{-3}τ=10^{-3}，α=0.25α=0.25（选项内和终止更新均为），0.50.5（批评者），εup=0.1ε_{up}=0.1，折扣0.990.99。所有报告的配置都保持它们。

**环境。**FourRooms是引入选项评论者的基准，它也是一个异常好的工具。其状态空间有限且足够小，可以枚举，因此对于任何转移核，我们可以精确求解MDP，读出最优策略在每个状态会接受的动作集合，并将该集合转化为每个状态的选项是否可用的测试；没有这个，第3节 (https://arxiv.org/html/2609.05508#S3)中的内容就不可能。网格是13×1313×13，有104个自由单元格，目标在东门，留下103个非目标状态。在*局部滑动*下，智能体以概率p移动到均匀随机的相邻自由单元格；在*全局传送*下，它以概率p跳到均匀随机的自由单元格，并以概率(1−p)p(1-p)p局部滑动，其中p∈{0,13,12}p∈{0,\\tfrac{1}{3},\\tfrac{1}{2}}。使用两种奖励：进入目标时的原始*稀疏*奖励1，以及每次转移的*恒定成本*-1，这使最优策略成为最短路径，可接受的动作集纯粹是组合性的。情节上限为1000步，训练运行1000个情节。两种连续变体测试该机制在函数逼近下是否依然存在，其中无法枚举状态，诊断不适用。在*直接*中，动作是带有均匀噪声的单位位移，观察是位置。*惯性*同时改变了状态和动作空间：动作是加速度，观察携带速度，碰撞会将其归零，因此智能体在相同的楼层平面上控制一个二阶系统。所有四个选项评论者组件都变为使用Adam、目标网络和重放缓冲区训练的双层tanh网络；附录A (https://arxiv.org/html/2609.05508#A1)列出了所有超参数。

**评估。**训练曲线混淆了策略学到的东西与其行动时随机化的程度，这正是这里的关键混淆，因此我们报告来自冻结检查点的性能。参数被复制出来且永不更新；显式底层探索在所有条件下都设置为零，因此用εlo=0.1ε_{lo}=0.1训练的分支用εlo=0ε_{lo}=0评估；εup=0.1ε_{up}=0.1被保留并精确边缘化；在真实内核上，从103个非目标状态均匀开始，使用有限时域存活动态规划计算达到目标的上限转移的期望数量，时域为10001000。此评估无采样误差，因此所有报告的不确定性来自350个匹配的训练种子，每个对比都在种子内配对。神经实验和表格终止网格则使用最后100100个训练步骤的平均步数，这是原始缩放结果报告的指标，使用它的每个图和表都说明了这一点。附录B (https://arxiv.org/html/2609.05508#A2)给出了每个区间背后的重采样方案。

## 3 检测策略坏死
下面的测量需要一个概念，即一个选项在某个状态可用意味着什么，以及一种方法，将失败归因于选项还是选择它们的路由器。

**坏死选项。**固定一个冻结检查点和一个状态s，令A⋆(s)A^{\\star}(s)为真实内核的最优策略在s处愿意采取的原始动作集合。当选项o在s处的选项内策略已经提交给该集合之外的某个动作时，选项o在s处是*坏死*的。在恒定成本下，这不需要阈值：A⋆(s)A^{\\star}(s)正是减少到目标的尊重墙壁距离的动作集合（保持所有平局，103个状态中有65个有两个），而o在s处可行当且仅当argmaxawo(s,a)∈A⋆(s)\\arg\\max_{a}w_{o}(s,a)∈A^{\\star}(s)。在稀疏奖励下，我们从精确内核的值迭代中获取A⋆(s)A^{\\star}(s)，保留所有数值上相等的最大值，并当∑a∈A⋆(s)πo(a|s)<0.01\\sum_{a∈A^{\\star}(s)}π_{o}(a|s)<0.01时称o为坏死的；确定性情况与广度优先搜索逐状态一致。这两个标准对所有状态同等权重，并在探索关闭时评估。

**失败所在位置。**有K个选项时，每个（状态，种子）对恰好属于三类之一。它是D当所有K个选项都是坏死的，因此路由器能做的任何选择都无济于事；它是M当至少一个选项可行但贪心argmaxoQΩ(s,o)\\arg\\max_{o}Q_{Ω}(s,o)选择了一个坏死的，因此存在可用覆盖但被错过；它是R当路由器选择了一个可行选项。多重性作用于Pr(D)=Pr(⋂oDo)Pr(D)=Pr(\\bigcap_{o}D_{o})，而平均单选项坏死率1K∑oPr(Do)\\tfrac{1}{K}\\sum_{o}Pr(D_{o})说明单个选项是否改善。分离它们是关键：如果额外选项使每个选项更好，两者会一起下降；如果额外选项提供冗余，只有前者下降。

## 4 学到的终止函数并非性能的来源
### 4.1 终止梯度的目标
选项评论者沿选项优势AΩ(s,o)=QΩ(s,o)−maxo′⁡QΩ(s,o′)A_{Ω}(s,o)=Q_{Ω}(s,o)-max_{o′}Q_{Ω}(s,o′)更新βoβ_{o}，它从未为正，因此只要当前选项不是贪心的，更新就只会提高βo(s)β_{o}(s)。它所趋向的规则是贪心中断，
β(s,o)={0,QΩ(s,o)>VΩ(s),1,otherwise,β(s,o)=\begin{ca