缺失的桥梁：组成感知的主动模仿学习

# 缺失的桥梁：组合感知主动模仿学习
来源：https://arxiv.org/html/2609.18004

###### 摘要
主动模仿学习通过允许学习者请求所需的演示来减少专家的工作量。现有方法通常基于预期信息增益来选择这些请求，以获取关于专家策略的信息。然而，在结构化多任务领域中，尽管其解决方案共享可复用的行为，但起始-目标任务的数量可能呈组合式增长。这使得可组合的行为尤其有价值，因为一次演示可能有助于同时解决多个任务。先前的方法在选择请求哪个演示时，并未明确考虑这种价值。我们引入了**通过潜在拓扑的自适应智能体**，它请求那些能够最大化起始-目标连接性预期增益的演示。我们进一步证明，该目标与任务可达性的信息增益在形式上相关联。AALT 将现有演示组织成由学习到的行为连接的潜在枢纽状态拓扑，识别出可能同时支持多个任务的高价值**桥接**演示，并将其关联到专家查询。在推理时，它通过所得的拓扑进行规划，并基于每个连续的枢纽转移来调整扩散策略。在一个包含 72 个任务的模拟 UR5e 机器人有序检索领域中，AALT 仅使用 3 次演示（总计 5 次转移，超出初始数据集）就将成功任务数从 42/72 提升至 72/72（100%）。在 20 次演示后，最强的基线平均使用 98 次转移达到了 88.6% 的成功率。

美国印第安纳州西拉法埃特市普渡大学计算机科学系
[email protected], [email protected], [email protected]

## 引言

参见图注 图 1：AALT 为组合性请求演示。智能体初始仅拥有覆盖部分起始状态 (S) 与目标状态 (A, B, C) 之间任务的已学习行为（黑色箭头），并可能请求额外的专家演示（橙色箭头）。
（左图）标准以策略为中心的主动模仿学习根据演示对专家策略的预期信息量来选择请求。由于它未明确重视组合性，可能会分别请求从 S 到 A、B 和 C 的完整任务演示，而每个演示可能仅帮助智能体理解一个任务。
（中心）AALT 代之以将演示行为组织成通过可复用的潜在枢纽状态 (蓝色) 连接的拓扑，然后请求能最大化预期起始-目标连接性的短**桥接**演示。此处，已知行为可到达 h₂，而其他已知行为可从 h₁ 通向 A、B 和 C。请求桥接 h₂ → h₁ 仅通过一次短演示就创造了通向所有三个目标的路径。在执行期间，拓扑指定了通过这些枢纽的路线，而学习到的策略根据当前观测为每个连续的枢纽转移生成动作。
（右图）在模拟检索任务中，桥接移动黑色罐体，将 h₂ 转换为 h₁，然后策略可以从该状态追求所有三个目标。模拟视频见补充材料。

我们研究的是在大规模、结构化的起始-目标任务集上的基于目标的主动模仿学习。学习者从不完整的演示数据集开始，并可能在有限的预算下请求额外的专家演示。每个起始-目标任务将一个初始状态与一个请求的目标配对，随着更多起始状态和目标的引入，任务数量可能呈组合式增长。考虑一个机器人检索任务，机器人手臂从货架上取零件罐以完成工单（见图 1 (https://arxiv.org/html/2609.18004#Sx1.F1)）。不同的货架排列和错放的罐体产生不同的起始状态，而每份工单通过指定要检索哪些罐体及其顺序来定义目标。将这些起始和目标组合会产生许多任务，然而历史演示可能仅覆盖少数几种，例如已经为预期工单排列好的货架。因此，演示每一对剩余的任务组合将需要付出与任务空间成比例的努力。

现有的主动模仿学习方法通常根据演示预期能提升专家策略学习的程度来选择演示。我们将这一大类方法称为**以策略为中心的主动模仿学习**。这些方法为将有限的专家精力引导至最具信息量的行为提供了有力手段。**主动多任务微调** 是一个代表性例子，它根据演示对专家策略的预期信息增益来选择完整的起始-目标任务 (Bagatella et al. 2025 (https://arxiv.org/html/2609.18004#bib.bib4))。

现有的主动模仿学习目标并未明确重视从演示中学习到的组合结构。当许多起始-目标任务共享其解决方案的一部分时，这种区别就显得重要。一次短演示可能连接两个先前演示过的行为，从而仅通过一个“桥接”就能启用许多尚未支持的起始-目标任务，即使它提供的关于专家策略的新信息相对较少。在我们的机器人示例中，以策略为中心的方法可能会优先考虑仅对少数工单有用的不确定操作，而不是连接多个起始状态到已学习到的检索行为的演示。因此，专家可能被要求提供许多额外演示，而这些演示的解决方案存在大量重叠。

我们引入了**通过潜在拓扑的自适应智能体**，一种组合感知的主动模仿学习方法，它根据演示预期能增加的起始-目标连接性来选择演示。这个目标在形式上与任务可达性的信息增益相关，而非专家策略。我们证明，当执行行为被视为完全可靠时，该信息增益可分解为 AALT 的连接性增益和桥接获取的不确定性；当执行可能失败时，存在相应的下界关系。AALT 将演示状态编码到一个学习到的潜在空间中，并识别出**枢纽状态**，即演示轨迹汇聚或发散的点。枢纽状态之间的演示行为形成潜在拓扑中的有向边。该拓扑表示当前可用的行为、它们如何组合，以及哪些缺失的“桥接”阻止了更多起始-目标任务的支撑。

在机器人检索示例中，一个枢纽可能对应于检索了三个工单共享的第一个罐体后达到的货架状态，并且每个工单剩余罐体的演示延续行为可用。因此，从另一个可达的货架状态到这个枢纽的单个桥接就可以解锁所有三个工单。AALT 估计每条已演示边的执行可靠性，并通过该任务通过拓扑的最佳路径的可靠性来衡量对起始-目标任务的支撑程度。然后，它通过评估添加每条缺失边会在目标任务分布上增加多少预期的起始-目标连接性来评价这些缺失边。这个目标本质上是可达性信息增益的代理——或者说，一次桥接查询能揭示多少关于查询后哪些目标任务将变得可达的信息。价值最高的边被请求作为桥接演示。在机器人检索示例中，这可能是请求从一个可靠可达的货架配置到另一个具有强烈演示延续行为通往目标状态的货架配置的演示。

在请求之后，AALT 将演示添加到数据集，更新共享策略和边的可靠性，并重新计算剩余桥接候选的价值。当专家预算耗尽或没有桥接能提供足够的预期增益时，获取停止。

在推理时，AALT 将当前状态与潜在拓扑匹配，并规划一条通往满足请求目标的枢纽状态的可靠路径。一个扩散策略 (Chi et al. 2023 (https://arxiv.org/html/2609.18004#bib.bib22)) 基于当前和下一个枢纽状态，在该路径上每次执行一条边。拓扑提供组合指导，而扩散策略学习所有边的底层行为。

我们在一个包含 72 个起始-目标任务的模拟 UR5e 检索环境中评估了 AALT，其中机器人必须从货架上按顺序检索三个零件罐，且不干扰阻挡物体。AALT 仅使用三次演示（总计五次转移）就将成功率从 42/72 任务提升至 100.0±0.0%，而最强的基线使用 20 次演示（总计 98.0±9.8 次转移）仅达到 88.6±9.9% 的成功率。我们的基线包括：以策略为中心的 AMF (Bagatella et al. 2025 (https://arxiv.org/html/2609.18004#bib.bib4))，它请求完整的任务演示（46.9±2.7%）；一个被赋予与 AALT 相同拓扑和桥接候选的变体（82.5±4.0%）；以及从这些桥接中均匀随机选择（88.6±9.9%）。AALT 的三个桥接分别额外启用了 12、10 和 8 个任务，并被 18、10 和 8 条最终任务路线重复使用。失败分析进一步表明，启用拓扑的 AMF 更常因为没有获得路线（8.4±5.9 个任务）而失败，而不是因为可用路线在执行期间失败（4.2±4.3），这与策略信息增益忽略了重要连接未被请求的情况一致。

## 问题定义
我们考虑在大规模、结构化的起始-目标任务族上的基于目标的主动模仿学习。智能体必须从许多可能的初始状态到达不同的请求目标，但开始时仅有一些组合的演示。然后，它可能要求专家演示如何在选定的源状态和目标状态之间移动，旨在使用有限数量的查询来提升整个任务族的性能。

令 $\mathcal{S}$, $\mathcal{A}$, 和 $\mathcal{G}$ 分别表示状态空间、动作空间和目标空间，并令 $\mathcal{S}_0 \subseteq \mathcal{S}$ 表示可能的初始状态。每个任务是一个从目标分布 $\rho$ 中抽取的对 $(s_0, g) \in \mathcal{S}_0 \times \mathcal{G}$。智能体接收状态作为输入，并必须输出改变状态的动作，使其最终达到与目标兼容的状态（称该集合为 $\mathcal{S}_g$）。智能体最初接收到一个不完整的专家数据集 $\mathcal{D}_0 = \{ \tau_i \}_{i=1}^N$，其中每条轨迹包含状态、动作、其预期目标和成功指示器。智能体可以使用此数据集进行预训练阶段。随后是获取阶段，在此阶段智能体可以创建查询并接收专家演示以添加到数据集中用于更多训练。给定预算 $B$ 次查询，目标是最大化在 $\rho$ 下的预期任务成功率，包括 $\mathcal{D}_0$ 中缺失的起始-目标对。尽管任务空间可能很大或是组合式的，但其解决方案无需独立：任务可能共享前缀、后缀或中间行为。因此，分别演示每个完整任务可能会重复大量的专家努力。我们针对可能存在但未提供给智能体的组合结构的场景。

## 通过潜在拓扑的自适应智能体 (AALT)
AALT 旨在通过有限的专家演示高效扩展智能体能够解决的任务集。它通过请求缺失的桥接演示来最大化起始-目标连接性来实现这一目标。AALT 有三个组成部分：获取、预训练和推理。获取在一个潜在拓扑上操作，该拓扑是可复用状态及其连接行为的抽象地图。其枢纽状态代表演示开始、结束、汇聚或发散的点，而其有向边代表在这些枢纽之间移动的行为。

AALT 评估此拓扑中缺失的边，并请求预期能产生最大起始-目标连接性增益的桥接演示。在预训练期间，AALT 从初始数据集学习拓扑，以及一个将观测与枢纽关联的匹配器和一个用于执行其边的共享扩散策略。在推理时，AALT 将当前状态与拓扑匹配，规划一条到达满足请求目标的枢纽的路线，并使用共享策略每次执行一条边来执行该路线。

在图 1 (https://arxiv.org/html/2609.18004#Sx1.F1) 的示例中，假设枢纽 $h_1$ 代表中心罐体已被移开，暴露出粉色、白色和蓝色罐体的配置。从 $h_1$ 出发的现有行为可以完成几个工单，例如检索 粉色→白色→蓝色，或 蓝色→粉色→白色。然而，初始拓扑可能没有通往 $h_1$ 的路线，即使它已经可以到达附近的枢纽 $h_2$。在获取期间，AALT 根据从 $h_2$ 到 $h_1$ 的桥接可能创建的任务路线数量来评估其价值。如果该桥接具有最大的预期增益，并且专家成功演示了它，AALT 就将该演示添加到拓扑中并更新策略。该桥接可能只是将剩余的黑色罐体移开。

在推理时，智能体沿着现有边到达 $h_2$，执行获取到的桥接到 $h_1$，然后使用现有的出站行为完成请求的工作订单。一次短演示可以使几个已知的目标到达行为从新的起始状态变得可用。

参见图注 图 2：AALT 方法。
（左图）潜在状态被聚类，并可能在不同演示之间汇聚或发散时成为枢纽状态。
（中心）枢纽通过演示连接，形成可组合行为的拓扑。新的演示请求被选择以优化起始-目标连接性。此处，$h_3 \rightarrow h_1$ 将连接右侧的起始状态到左侧的目标状态。
（右图）在推理期间，我们从起始状态规划到一个目标枢纽。一个扩散策略根据 $(h_i, h_j)$ 为每条边生成到达目标的动作。

### 获取：选择专家查询以获取任务连接性
给定学习到的拓扑 $\Gamma = (\mathcal{H}, \mathcal{E})$，AALT 选择能改善目标起始和目标状态之间连接性的额外演示。每条有向边 $e \in \mathcal{E}$ 代表一个已演示的行为，并具有估计的可靠性 $r_e \in [0, 1]$。获取阶段根据每条缺失边的添加预期能在目标任务分布上增加多少可靠的起始-目标连接性来评估它们。

一旦我们有了这个拓扑，AALT 就用它来决定哪个额外的演示最有用。核心思想是请求一个连接拓扑现有部分的缺失行为，允许已演示的行为组合成额外任务的解决方案。为了做出这个决定，AALT 首先估计每条现有边可以可靠执行的程度，然后衡量当前拓扑对目标任务分布的支撑程度，最后评估每条可能的新边会提升多少这种支撑。

并非所有演示的行为都能被同样可靠地执行。一条反复成功的边应该比经常失败的边对组合解决方案贡献更多信心。因此，AALT 为每条边 $e$ 维护一个执行成功估计值。我们用 Beta($\alpha_e, \beta_e$) 分布表示其执行成功概率的不确定性，并使用后验均值 $r_e = \alpha_e / (\alpha_e + \beta_e)$ 来估计可靠性。