面向交互式游戏的可教练代理

# 可指导的智能体用于交互式游戏

来源：https://arxiv.org/html/2607.00642

Harm van Seijen  
Sony AI, 北美（多地）  
Nolan D. Bard  
Sony AI, 北美（多地）  
Neil Burch  
Sony AI, 北美（多地）  
Fatima Davelouis  
Sony AI, 北美（多地）  
Josh Davidson  
Sony AI, 北美（多地）  
Alisa Devlic  
Sony AI, 苏黎世，瑞士  
Yunshu Du  
Sony AI, 北美（多地）  
Ishan Durugkar  
Sony AI, 北美（多地）  
Siddhant Gangapurwala  
Sony AI, 北美（多地）  
Daniel Hernandez  
Sony AI, 北美（多地）  
G. Zacharias Holland  
Sony AI, 北美（多地）  
Sahil Jain  
Sony AI, 北美（多地）  
Kenta Kawamoto  
Sony AI, 东京，日本  
Raksha Kumaraswamy  
Sony AI, 北美（多地）  
Patrick MacAlpine  
Sony AI, 北美（多地）  
Dustin R. Morrill  
Sony AI, 北美（多地）  
Declan Oller  
Sony AI, 北美（多地）  
Francesco Riccio  
Sony AI, 苏黎世，瑞士  
Akanksha Saran  
Sony AI, 北美（多地）  
Craig Sherstan  
Sony AI, 东京，日本  
Kaushik Subramanian  
Sony AI, 苏黎世，瑞士  
Thomas J. Walsh  
Sony AI, 北美（多地）  
Samuel Barrett  
Sony AI, 北美（多地）  
Kizza N. Frisbee  
Sony AI, 北美（多地）  
Mady Govil  
Sony AI, 北美（多地）  
Johannes Günther  
Sony AI, 北美（多地）  
Varun R. Kompella  
Sony AI, 北美（多地）  
James A. MacGlashan  
Sony AI, 北美（多地）  
Maxwell Svetlik  
Sony AI, 北美（多地）  
Michael D. Thomure  
Sony AI, 北美（多地）  
Jaden B. Travnik  
Sony AI, 北美（多地）  
Kevin Waugh  
Sony AI, 北美（多地）  
Elahe Aghapour  
Sony AI, 北美（多地）  
Florian Fuchs  
Sony AI, 苏黎世，瑞士  
Andreanne Lemay  
Sony AI, 北美（多地）  
Shruti Mishra  
Sony AI, 苏黎世，瑞士  
Takuma Seno  
Sony AI, 东京，日本  
Peter Stone  
Sony AI, 北美（多地）  
Michael Spranger  
Sony AI, 东京，日本  
Peter R. Wurman  
Sony AI, 北美（多地）  
[email protected]  

###### 摘要

强化学习已被证明是创建先进AI和机器人系统的宝贵工具，为游戏玩法[40（https://arxiv.org/html/2607.00642#bib.bib196）, Silver2017AlphaZero, 53（https://arxiv.org/html/2607.00642#bib.bib179）]、机器人学[levine2016end, andrychowicz2020learning, luo2025precise]和基础模型[ouyang2022training, noukhovitchasynchronous, sun2024aligning, guo2025deepseek]等做出了贡献。通过试错，这些AI系统通常学习一种接近最优的行为来解决任务。然而，在许多用例中，我们希望能够在实时中施加某种程度的控制，控制任务是如何完成的。我们将这些对核心任务的修改称为“风格”。我们将通用值函数逼近器（UVFA）与精心挑选的训练场景、学习算法和数据增强相结合，创建一个用于训练智能体在复杂领域中展现风格的框架。我们展示了该框架在AAA视频游戏《地平线：西之绝境》和《GT赛车》以及一个开源人形测试领域中的应用。尽管这些领域性质不同——赛车、风格化的游戏战斗和人形行走——每个智能体都能在满足主要任务的同时，高度一致地遵循风格请求。重要的是，本文概述的技术允许最终用户在运行时选择最终行为，从而灵活控制最终执行的性能。

## 引言

随着人工智能（AI）进入主流，越来越多关注点集中在让用户能够有意义地将系统行为与用户偏好对齐。虽然用户现在熟悉请求生成式AI工具[37（https://arxiv.org/html/2607.00642#bib.bib169）, 2（https://arxiv.org/html/2607.00642#bib.bib168）]遵循风格请求（“生成一幅印象派风格的猫打乒乓球的画”），但这种控制对于在实时控制环境中运行的智能体来说，迄今尚未可用。与此同时，强化学习（RL）已成为在多种实时控制领域实现最先进性能的主要方法[53（https://arxiv.org/html/2607.00642#bib.bib179）, 26（https://arxiv.org/html/2607.00642#bib.bib121）, 20（https://arxiv.org/html/2607.00642#bib.bib122）]。这些RL智能体通常掌握单一任务并以一种接近最优的方式执行它。在实践中，除了智能体完成什么任务外，用户通常还关心它如何完成任务，这取决于运行时的上下文。例如，我们可能希望清洁机器人安静地打扫房间，因为婴儿正在睡觉，或者优先考虑速度，因为客人即将到来。这些偏好并不改变底层任务本身——打扫房间——但它们确实表达了对智能体行为的宝贵且依赖于上下文的偏好。

可指导的智能体被训练以多种不同的风格执行任务，并在执行时按需应用这些风格。这个问题框架不同于多任务[23（https://arxiv.org/html/2607.00642#bib.bib128）, 42（https://arxiv.org/html/2607.00642#bib.bib126）]、多目标[1（https://arxiv.org/html/2607.00642#bib.bib127）, 17（https://arxiv.org/html/2607.00642#bib.bib129）]或目标条件学习[29（https://arxiv.org/html/2607.00642#bib.bib146）]，后者的重点是教授智能体完成多个不同的任务。为了理解区别，考虑机器人清洁场景：将“安静地打扫”和“快速地打扫”归类为两个不同的任务，会淡化它们的共同点，并掩盖用户可能希望从安静和快速的范围内选择这一事实。对于风格——类似于副词修饰动词——我们保持主要任务不变，但控制次要的性能特征。就像指导人类运动员一样，指导智能体的大部分工作在于创建激励和练习场景，使智能体能够学习在其特定领域中所需的技能和风格变体。

在本研究中，我们在三个领域中探讨这些主题，每个领域都有一系列独特的挑战。最简单的环境是来自DeepMind Control Suite（DMC）[46（https://arxiv.org/html/2607.00642#bib.bib137）]的人形模型，这是一个标准的RL测试环境。另外两个领域是AAA视频游戏：赛车游戏《GT赛车7》（GT7）和开放世界冒险游戏《地平线：西之绝境》（HFW）。现代商业视频游戏提供了丰富的互动世界，具有明确的规则和清晰的成功指标，使它们成为AI进展的绝佳试验场[50（https://arxiv.org/html/2607.00642#bib.bib195）, 25（https://arxiv.org/html/2607.00642#bib.bib191）]。此外，视频游戏通常设计为允许玩家以多种不同的游戏风格游玩[3（https://arxiv.org/html/2607.00642#bib.bib192）]，使它们成为理想的测试环境。在这项工作中，我们描述了扩展到现代视频游戏复杂性所需的创新，并提出了训练可指导智能体的最佳实践。

## 方法

我们可指导智能体框架的基础是强化学习，即软件代理通过试错学习任务的框架[43（https://arxiv.org/html/2607.00642#bib.bib183）]。该领域在2016年左右获得广泛公众关注，当时RL与深度神经网络相结合，是几个高调AI里程碑的基础[32（https://arxiv.org/html/2607.00642#bib.bib199）, 40（https://arxiv.org/html/2607.00642#bib.bib196）]。RL算法通常使用策略π(s):s→a和/或批评家Q(s,a):s,a→V，其中V逼近在状态s下采取动作a并随后遵循π的期望累积（通常折现）未来奖励。为了在实践中使RL工作，设计者必须在多种算法、环境状态表示、奖励公式和训练范式之间进行选择，以生成能够实现期望结果的智能体[13（https://arxiv.org/html/2607.00642#bib.bib151）]。RL的标准应用通常导致智能体能够很好地完成任务，但在如何执行这些任务方面提供的运行时灵活性很少。

为了训练可指导的智能体，我们基于通用值函数逼近器（UVFA）[18（https://arxiv.org/html/2607.00642#bib.bib184）, 38（https://arxiv.org/html/2607.00642#bib.bib185）]的先前工作，该工作将标准值函数扩展到以“目标状态”为条件。与原始UVFA公式不同，我们的方法处理核心目标保持不变但存在多种有效行为来完成它的场景。我们将这种变体称为风格条件UVFA。至于相关工作，de Woillemont[10（https://arxiv.org/html/2607.00642#bib.bib190）, 11（https://arxiv.org/html/2607.00642#bib.bib189）]展示了如何利用精心设计的奖励项来鼓励智能体学习五个策略，这些策略可以在一个基于回合的小型视频游戏中实现多种游戏风格。最近，Nauman等人[36（https://arxiv.org/html/2607.00642#bib.bib130）]也使用了奖励条件化。然而，他们使用了仅在任务奖励下生成的训练数据，并通过离线策略学习训练额外的奖励函数。因此，在没有微调的情况下，当在这些额外奖励函数上评估时，得到的策略表现较差。并且他们将方法应用于相对较小的领域，如OpenAI Gym和DMC Vision。我们的工作将UVFA概念提升到高维控制领域——这是一个更具挑战性的设置，需要进一步的算法创新。

在我们的UVFA版本中，奖励函数被分为两部分：一部分在episode之间固定不变，捕获任务目标；另一部分推动智能体朝向某些行为风格：r(s,a;θ) = r_task(s,a) + r_style(s,a,θ)。项r_style(s,a,θ)通过多维风格向量θ组合不同的风格奖励函数：典型的风格参数包括用于线性组合奖励的权重，以及阈值（用于门控/斜坡）和目标值（设定点），这些目标值惩罚与期望范围的偏差。r_style(s,a,θ)相对于r_task(s,a)的规模决定了智能体如何平衡不同风格目标与其任务目标。与标准RL一样，我们必须选择状态特征、奖励和动作表示，以使智能体能够在每个领域成功。对于训练能够展现风格的智能体，我们进一步发现场景训练[28（https://arxiv.org/html/2607.00642#bib.bib172）, 8（https://arxiv.org/html/2607.00642#bib.bib174）, 47（https://arxiv.org/html/2607.00642#bib.bib173）]、数据增强[24（https://arxiv.org/html/2607.00642#bib.bib138）]和专用回放缓冲区[27（https://arxiv.org/html/2607.00642#bib.bib149）]有助于加速和稳定学习。图1（https://arxiv.org/html/2607.00642#Sx7.F1）说明了指导框架的主要组件，这些组件导致一个能够以多种风格游玩HFW的智能体。为了制作第一个AAA开放世界游戏的可指导智能体——其中动作空间、奖励结构和行为变异性都比我们的其他测试领域复杂得多——我们开发了一个新的Soft Actor-Critic（SAC）算法系列[15（https://arxiv.org/html/2607.00642#bib.bib182）]成员，我们称之为分类正则化Actor-Critic（Cat-RAC）。Cat-RAC对Soft Actor-Critic的扩展在附录部分详述。

## 测试领域

我们先前在GT Sophy[53（https://arxiv.org/html/2607.00642#bib.bib179）]上的工作导致该智能体被成功集成到GT7中。我们探索风格的初始动机是让Polyphony Digital Inc.（PDI）的设计师能够在不牺牲智能体控制汽车能力的情况下，对GT Sophy的游戏内行为有更多的控制。我们为GT Sophy提出的风格反映了现实世界的驾驶行为，例如牺牲单圈时间以延迟进站策略决策。因为游戏HFW的主题驱动了我们的风格选择，我们必须为读者提供足够的背景以理解结果。在这个开放世界游戏中，女主角Aloy在后末日版的美国西部与各种动物启发的机器人战斗。Aloy总是携带矛用于近战战斗，并且通过武器轮，玩家可以快速使用六种投射武器，每种都有两到三种弹药类型。Aloy还可以放置近程陷阱并将机器引诱到陷阱中，并且她可以消耗治疗浆果来恢复生命值。所有这些灵活性都需要广泛使用PlayStation 5控制器上的14个布尔按钮、两个2D摇杆和两个连续扳机。敌方机器是复杂的非玩家角色（NPC），拥有数十种动画攻击类型，其中许多是每种机器类型独有的。它们通常有可被瞄准和移除的组件——包括武器、盾牌和容器。Aloy的弹药和陷阱通常带有元素类型，可以累积并将目标置于元素状态。例如，如果Aloy用几支火箭击中机器，该机器可能会达到燃烧状态，在该状态下它会在一段时间内持续受到火焰伤害。附录D中的表1（https://arxiv.org/html/2607.00642#Ax5.T1）显示了训练集中机器的详细信息，我们建议感兴趣读者参考网络上大量关于游戏的信息。我们的智能体在HFW中展现的风格反映了开发者为玩家创造的战斗选择的广度，允许他们选择自己喜欢的武器，通过陷阱安全游玩，或利用游戏强大的元素系统。

为了建立我们方法超越游戏的普遍性，我们为DeepMind Control Suite[46（https://arxiv.org/html/2607.00642#bib.bib137）]的人形模型训练了一个智能体。人形是一个不稳定的动态系统，具有21维动作空间，其核心目标是在无限平面上行走。在基本任务之上，我们叠加风格来控制离散的手臂姿势，这些姿势可以与连续的步长相结合，如图2（https://arxiv.org/html/2607.00642#Sx7.F2）e所示。从这个第三个领域可以看出，该方法可以扩展到许多机器人应用。附录D中的表4（https://arxiv.org/html/2607.00642#Ax5.T4）显示了我们在三个测试领域中的每个领域使用了指导工具箱中的哪些工具。

## 结果

我们首先展示使用UVFA在一对控制轮胎磨损和燃油使用的实验中影响GT Sophy驾驶风格的方面（图2（https://arxiv.org/html/2607.00642#Sx7.F2）a-d）。通过调整这些UVFA权重，用户可以在速度与燃油续航或轮胎寿命之间进行权衡，从而能够控制关于何时进站的关键战略决策。相比之下，我们可以创建一种鼓励GT Sophy漂移的风格（视频见附录E）。在附录C中，我们提供了另一个示例，其中使用了风格参数。