DSD：通过扩散技能发现学习多样且可复用的运动技能

# DSD：基于扩散技能发现的多样化可复用运动技能学习
来源：https://arxiv.org/html/2609.17682
DOI：XXXXXXX\.XXXXXXX (https://doi.org/XXXXXXX.XXXXXXX)
会议：请确认您权利确认邮件中的正确会议名称；2018年6月3–5日；纽约州伍德斯托克
CCS：计算方法 过程动画
CCS：计算方法 强化学习
CCS：计算方法 无监督学习
和Xue Bin Peng
单位：西蒙弗雷泽大学，加拿大；NVIDIA，加拿大
邮箱：[xbpeng@sfu\.ca](mailto:[email protected]) 2026
参考图例
图1\.我们的方法通过基于扩散的互信息目标发现多样化的可复用运动技能（左）\.所学技能随后可用于执行下游任务（右）\.

###### 摘要\.人类通过在不同目标和情境中复用丰富的运动技能库来高效学习新任务\.类似策略也可用于使模拟角色通过利用可复用运动技能高效执行新任务\.为支持广泛的下游任务，所学技能库应具有多样性，包含不同行为以及每个行为内部的空间和时间变化\.学习多样化技能的常用方法是最大化技能潜变量与策略产生状态之间的互信息\.边际状态熵促进广泛的行为覆盖，而条件熵则鼓励每个潜变量产生一致的行为\.然而，在高维控制问题中直接估计边际状态熵是不可行的\.先前方法因此依赖于间接的潜空间近似或状态分布的粗略估计器\.这些近似可能无法有效促进状态空间的广泛覆盖，导致技能行为多样性有限且对下游任务的效用降低\.本文提出扩散技能发现（DSD），一种使用扩散模型通过分数匹配近似策略诱导状态分布的熵梯度的技能发现方法\.由此产生的目标鼓励发现能在高维类人控制中产生更广泛行为的技能\.所学技能在两个下游控制场景中复用：使用任务特定高层策略的分层控制，以及通过离线轨迹的潜变量选择进行零样本控制\.实验表明，DSD比先前技能发现方法发现了更广泛的可复用运动技能库，从而涌现出可在下游任务间复用的复杂敏捷行为\.视频请见https://youtu\.be/QhMs67fvuWk\.

###### 关键词：角色动画，强化学习，无监督强化学习，分数蒸馏采样，扩散模型

## 1\.引言
从日常行走到复杂运动例程，人类行为建立在丰富的可复用运动技能库之上\.这些技能使人类能将熟悉行为适应新目标、情境和环境，避免从头学习每个任务\.对于物理模拟的类人角色，要实现超越任务特定设置的灵活控制，需要能够开发和重新利用多样化运动技能的模型，类似于人类行为中观察到的技能\.为赋予模拟角色多样化且可复用的运动技能，常见方法是将可复用技能建模为潜变量模型\.这些方法结合了技能发现目标（鼓励不同潜变量产生不同行为）与模仿目标（使行为接近参考运动分布，从而保持所发现技能的自然性）（Dou等，2023 (https://arxiv.org/html/2609.17682#bib.bib51)；Peng等，2022 (https://arxiv.org/html/2609.17682#bib.bib49)；Tessler等，2023 (https://arxiv.org/html/2609.17682#bib.bib50)；Tirinzoni等，2025 (https://arxiv.org/html/2609.17682#bib.bib48)\)\.由此产生的潜空间提供了技能库，智能体可随后将其用于新任务\.为使所学技能库支持广泛的下游任务，它应包含多样化且通用的技能，可在不同任务目标下复用\.一个有用的技能库应包含提供多样化效用的技能，例如当这些行为在数据集中存在时，行走、奔跑、跳跃或打击\.技能库还应捕获这些行为的空间和时间变化\.多样性有限的技能库可能将不同潜变量映射到仅有细微差异的相似行为，减少技能可解决的下游任务范围\.现有的潜变量条件技能发现方法通过最大化潜变量与所得运动分布之间的互信息来鼓励多样性（Dou等，2023 (https://arxiv.org/html/2609.17682#bib.bib51)；Peng等，2022 (https://arxiv.org/html/2609.17682#bib.bib49)；Tessler等，2023 (https://arxiv.org/html/2609.17682#bib.bib50)\)\.一个关键挑战是估计策略诱导的边际状态分布的熵，这在高维类人控制问题中通常是不可行的\.实用方法因此依赖于避免直接建模策略诱导状态分布的变分近似，转而优化潜空间中的替代目标（Eysenbach等，2018 (https://arxiv.org/html/2609.17682#bib.bib43)；Gregor等，2016 (https://arxiv.org/html/2609.17682#bib.bib46)；Baumli等，2021 (https://arxiv.org/html/2609.17682#bib.bib47)；Hansen等，2020 (https://arxiv.org/html/2609.17682#bib.bib35)\)\.虽然在简单设置中有效，但此类近似通常导致技能仅展现细微变化，提供有限的功能多样性（Campos等，2020 (https://arxiv.org/html/2609.17682#bib.bib64)\)\.更直接的熵估计器，如基于粒子的估计器（Liu和Abbeel，2021a (https://arxiv.org/html/2609.17682#bib.bib45)）或基于技能动态的替代目标（Sharma等，2019 (https://arxiv.org/html/2609.17682#bib.bib44)），可以提供状态多样性的粗略估计\.然而，最近邻距离估计和技能条件动态预测在高维状态空间中可能变得不可靠\.结果，所学技能可能缺乏功能通用性，从而妨碍其在下游任务中的效用\.为提高类人智能体技能发现的行为多样性，我们引入扩散技能发现（DSD）\.DSD通过分数匹配共同训练扩散模型与策略，以近似状态熵的梯度\.该近似为高维系统提供了状态熵最大化的实用替代方案\.由此产生的目标鼓励策略访问更广泛的新状态，从而增加所学技能间的行为多样性\.训练完成后，所学技能库可通过任务特定的高层策略或从离线轨迹数据集进行零样本潜变量选择在下游任务中复用\.本文的核心贡献是一种基于扩散的技能发现方法，从未结构化运动数据集中学习可复用运动技能\.我们引入了一些实际设计决策，将基于扩散的熵最大化应用于高维类人控制，提高训练稳定性和运动质量\.据我们所知，DSD是首个使用扩散模型近似状态熵梯度的物理模拟类人无监督技能发现框架\.在多个运动数据集上的实验表明，DSD比先前技能发现方法学习了更多样化的运动技能库，包括复杂敏捷的运动\.所学技能库的效用通过在具有挑战性的下游任务中使用分层控制和零样本潜变量选择得到证明\.

## 2\.相关工作
为物理模拟角色开发运动控制器长期以来一直是角色动画的核心挑战\.该领域的早期工作利用基于优化的方法和手工设计的目标，创建能够产生自然运动的控制器（Hodgins等，1995 (https://arxiv.org/html/2609.17682#bib.bib2)；Coros等，2010 (https://arxiv.org/html/2609.17682#bib.bib1)；Raibert和Hodgins，1991 (https://arxiv.org/html/2609.17682#bib.bib3)；Yin等，2007 (https://arxiv.org/html/2609.17682#bib.bib4)；Zordan和Hodgins，2002 (https://arxiv.org/html/2609.17682#bib.bib5)\)\.通过优化特定任务的成本函数和约束，这些方法可以为特定行为产生高质量运动（van de Panne等，1994 (https://arxiv.org/html/2609.17682#bib.bib11)；Geyer等，2003 (https://arxiv.org/html/2609.17682#bib.bib12)；de Lasa等，2010 (https://arxiv.org/html/2609.17682#bib.bib6)；Levine和Koltun，2013 (https://arxiv.org/html/2609.17682#bib.bib7)；Mordatch等，2012 (https://arxiv.org/html/2609.17682#bib.bib8)；Tan等，2014 (https://arxiv.org/html/2609.17682#bib.bib10)；Ha等，2012 (https://arxiv.org/html/2609.17682#bib.bib13)\)\.然而，这些方法通常需要为每种技能仔细设计目标和优化过程，最终限制了它们在训练大量技能控制器方面的有效性（Geijtenbeek等，2013 (https://arxiv.org/html/2609.17682#bib.bib14)；Wang等，2012 (https://arxiv.org/html/2609.17682#bib.bib15)；Lee等，2009 (https://arxiv.org/html/2609.17682#bib.bib16)\)\.

### 2\.1\.数据驱动的角色控制
为减少设计产生自然运动的控制器和目标函数所涉及的人工工作，利用运动数据的数据驱动方法在基于物理的角色动画中得到广泛采用（Da Silva等，2008 (https://arxiv.org/html/2609.17682#bib.bib9)；Sharon和van de Panne，2005 (https://arxiv.org/html/2609.17682#bib.bib19)；Kwon和Hodgins，2017 (https://arxiv.org/html/2609.17682#bib.bib17)；Lee等，2010 (https://arxiv.org/html/2609.17682#bib.bib18)；Zordan和Hodgins，2002 (https://arxiv.org/html/2609.17682#bib.bib5)\)\.早期的数据驱动方法通常依赖于精心设计的、针对特定技能的控制器来跟踪参考运动片段（Liu等，2005 (https://arxiv.org/html/2609.17682#bib.bib20)；Liu等，2010 (https://arxiv.org/html/2609.17682#bib.bib23)；Liu等，2012 (https://arxiv.org/html/2609.17682#bib.bib22)；Sok等，2007 (https://arxiv.org/html/2609.17682#bib.bib21)；Liu等，2016 (https://arxiv.org/html/2609.17682#bib.bib24)\)\.深度强化学习后来通过用通过奖励驱动优化框架训练的神经网络策略取代这些专用控制结构，为运动模仿提供了更通用的框架（Peng等，2018 (https://arxiv.org/html/2609.17682#bib.bib25)；Chentanez等，2018 (https://arxiv.org/html/2609.17682#bib.bib26)；Lee等，2019 (https://arxiv.org/html/2609.17682#bib.bib27)\)\.虽然强化学习为训练控制策略提供了通用框架，但学习覆盖广泛运动的单一策略仍然具有挑战性\.先前工作通过整合协调多个控制器的运动规划器来解决这一挑战，以覆盖更广泛的行为集（Coros等，2009 (https://arxiv.org/html/2609.17682#bib.bib28)；Hausman等，2018 (https://arxiv.org/html/2609.17682#bib.bib29)；Heess等，2016 (https://arxiv.org/html/2609.17682#bib.bib30)\)\.另一系列工作使用对抗模仿目标来训练单一策略以匹配参考运动数据的分布（Peng等，2021 (https://arxiv.org/html/2609.17682#bib.bib31)；Zhang等，2025 (https://arxiv.org/html/2609.17682#bib.bib32)\)\.这与运动覆盖相关，因为判别器比较策略与完整的参考分布，而不是单一目标运动\.我们的方法使用这种对抗性公式作为运动先验来引导策略趋向自然行为，而基于扩散的技能发现目标则促进广泛的行为覆盖，并将所得行为组织成不同的潜变量技能\.

### 2\.2\.无监督技能发现
无监督强化学习旨在不依赖外部任务奖励来发现技能\.策略通过优化内在目标来学习多样化行为，这使得模型能够自动发现可重新用于下游任务的可复用技能\.常见的内在目标依赖于学习模型的预测误差（Pathak等，2017 (https://arxiv.org/html/2609.17682#bib.bib34)；Burda等，2018 (https://arxiv.org/html/2609.17682#bib.bib33)）、基于访问的计数（Bellemare等，2016 (https://arxiv.org/html/2609.17682#bib.bib36)；Tang等，2017 (https://arxiv.org/html/2609.17682#bib.bib37)）或促进状态空间广泛探索的熵最大化（Hazan等，2019 (https://arxiv.org/html/2609.17682#bib.bib38)；Liu和Abbeel，2021b (https://arxiv.org/html/2609.17682#bib.bib39)；Ying等，2025 (https://arxiv.org/html/2609.17682#bib.bib40)\)\.这些目标促进状态空间探索，但不一定产生可复用的技能库\.潜变量条件方法转而训练行为依赖于辅助潜变量的策略，使用近似互信息目标（Gregor等，2016 (https://arxiv.org/html/2609.17682#bib.bib46)；Eysenbach等，2018 (https://arxiv.org/html/2609.17682#bib.bib43)；Liu和Abbeel，2021a (https://arxiv.org/html/2609.17682#bib.bib45)）或替代的Lipschitz约束度量（Park等，2021 (https://arxiv.org/html/2609.17682#bib.bib41)；Park等，2024 (https://arxiv.org/html/2609.17682#bib.bib42)）来鼓励不同潜变量产生不同行为\.另一系列工作训练可由奖励或目标提示而无需额外策略优化的策略（Touati和Ollivier，2021 (https://arxiv.org/html/2609.17682#bib.bib74)；Frans等，2024 (https://arxiv.org/html/2609.17682#bib.bib75)\)\.这些方法支持灵活的下游适应，但通常需要单独的探索过程来产生行为多样性\.近期工作将内在技能发现目标与运动模仿目标相结合，以获得产生自然行为的技能（Peng等，2022 (https://arxiv.org/html/2609.17682#bib.bib49)；Tessler等，2023 (https://arxiv.org/html/2609.17682#bib.bib50)；Dou等，2023 (https://arxiv.org/html/2609.17682#bib.bib51)；Tirinzoni等，2025 (https://arxiv.org/html/2609.17682#bib.bib48)\)\.尽管现有方法学习了可复用的运动技能，但发现广泛多样化的技能库仍然具有挑战性\.DSD通过基于扩散的近似解决了这一限制，该近似促进了策略状态分布的更广泛覆盖\.

### 2\.3\.基于扩散的分布建模
扩散模型通过迭代去噪建模数据分布，在多个领域（包括人类运动）中作为生成模型展现出强大性能（Cohan等，2024 (https://arxiv.org/html/2609.17682#bib.bib63)；Kim等，2023 (https://arxiv.org/html/2609.17682#bib.bib62)；Tevet等，2023 (https://arxiv.org/html/2609.17682#bib.bib58)\)\.除了样本生成，分数蒸馏采样（SDS）使用预训练的扩散模型来估计梯度，以引导优化