AETDICE：用于非线性多目标强化学习的统一框架与离线优化

# AETDICE：面向非线性多目标强化学习的统一框架与离线优化

**来源：** https://arxiv.org/html/2606.31178

Woosung Kim¹\* Youngjun Suh¹\* Jinho Lee¹\* Jongmin Lee²† Byung-Jun Lee¹,³†

¹高丽大学 ²延世大学 ³Gauss Labs Inc.

{wsk208,jinho0997,youngjunsuh, byungjunlee}@korea.ac.kr [email protected]

\* 同等贡献 † 通讯作者

###### 摘要

在多目标强化学习（MORL）中优化非线性偏好对于捕捉风险厌恶或公平性等复杂权衡至关重要。然而，这种非线性在历史上曾将非线性MORL目标分化为两种截然不同的范式：标量化期望回报（SER）和期望标量化回报（ESR）。SER需要全局级别的优化，而ESR需要非马尔可夫策略，这导致了碎片化的优化策略。我们通过聚合-期望-变换（AET）框架弥合了这一鸿沟。通过将两种准则统一到标量化的三元分解下，AET为一般非线性MORL提供了原则性基础。基于此框架，我们提出了AETDICE，一种适用于AET目标的可行离线强化学习算法。通过利用增强状态空间中的DICE风格密度比估计，AETDICE能够从静态数据集进行基于样本的优化。我们的框架解决了长期存在的障碍，并捕捉了AET框架引起的各自权衡，而现有方法无法解决这些问题。

## 1 引言

多目标强化学习（MORL）在多个通常相互冲突的目标下优化序列决策[Van Moffaert和Nowé (2014)](https://arxiv.org/html/2606.31178#bib.bib13); [Cheung (2019)](https://arxiv.org/html/2606.31178#bib.bib12); [Yang等人 (2019)](https://arxiv.org/html/2606.31178#bib.bib15)。目标之间的权衡由标量化函数控制，该函数将向量值回报映射为标量目标。线性标量化通过加权和简化标准RL，而非线性标量化则能捕捉诸如边际收益递减、公平性与效率等更丰富的偏好[Roijers等人 (2013)](https://arxiv.org/html/2606.31178#bib.bib1); [Agarwal等人 (2022)](https://arxiv.org/html/2606.31178#bib.bib6)。在非线性MORL中，由标量化与期望的顺序产生了两个典型准则：标量化期望回报（SER），即对期望回报应用非线性；以及期望标量化回报（ESR），即对每条轨迹的回报应用非线性。SER和ESR代表了不同的决策情境，具有根本不同的最优策略结构，现有方法也相应地分别为每种准则独立开发[Roijers等人 (2018)](https://arxiv.org/html/2606.31178#bib.bib5); [Hayes等人 (2021)](https://arxiv.org/html/2606.31178#bib.bib16), [2025](https://arxiv.org/html/2606.31178#bib.bib2)。我们关注离线设置，即必须从固定数据集中学习策略。针对线性标量化的离线方法已经存在[Zhu等人 (2023)](https://arxiv.org/html/2606.31178#bib.bib3); [Lin等人 (2024)](https://arxiv.org/html/2606.31178#bib.bib4)以及SER ([Kim等人, 2025](https://arxiv.org/html/2606.31178#bib.bib9))，但ESR仍未解决：轨迹级别的非线性使得最优动作依赖于先前累积的回报，而从固定数据中学习这种回报条件策略尚未被探索。此外，对每条轨迹的回报向量应用非线性效用却线性聚合结果，可能会忽视表现较差的效用维度——正是SER中非线性聚合所纠正的那种不平衡。虽然期望级别的非线性可以抵消这种轨迹级别效用之间的不平衡，但现有方法均未解决此问题。我们通过聚合-期望-变换（AET）框架来解决这两个空白，该框架将非线性标量化分解为轨迹级变换\(F\)、期望以及期望级聚合\(G\)。AET将SER和ESR作为特例纳入囊中，同时支持更丰富的一类目标，这类目标结合了非线性的两个层次。为了在线下优化AET目标，我们引入了AETDICE——通过分布校正估计（DICE）对AET目标进行离线优化。我们提出了一种变换后的奖励，将非线性\(F\)吸收到每步奖励中，从而实现了首次的离线ESR优化，并开发了在增强状态空间上的有限时域DICE公式，以处理凹函数\(G\)的全局聚合。实验表明，AETDICE可在单一框架内优化ESR、SER以及新颖的AET目标，揭示了由非线性两个层次相互作用所产生的不同策略行为。

## 2 预备知识

### 2.1 有限时域MOMDP与MORL目标

我们考虑一个有限时域多目标马尔可夫决策过程（MOMDP）\(\mathcal{M}=(\mathcal{S},\mathcal{A},P,\allowbreak H,\allowbreak p_0,\allowbreak\mathbf{r})\)，其中\(\mathcal{S}\)和\(\mathcal{A}\)分别表示状态空间和动作空间，\(P(s' \mid s,a)\)是时间齐次的转移核，\(H\)是时域，\(p_0(s)\)是初始状态分布，\(\mathbf{r}(s,a)\in\mathbb{R}^m\)指定了\(m\)个目标的\(m\)维奖励向量。一个时间相关的策略\(\pi(a|s,t)\)在轨迹\(\tau=(s_0,a_0,\ldots,s_{H-1},a_{H-1})\)上诱导出一个分布，累积的多目标回报由\(\mathbf{R}(\tau)=\sum_{t=0}^{H-1}\mathbf{r}(s_t,a_t)\)给出。

多目标强化学习（MORL）使用标量化函数\(u:\mathbb{R}^m\to\mathbb{R}\)将向量值回报转换为标量目标。经典选择是线性标量化，即\(u(\mathbf{x})=\mathbf{w}^\top\mathbf{x}\)，它产生
\[
J_{\mathrm{lin}}(\pi;\mathbf{w})=\mathbb{E}_{\tau\sim\pi}[\mathbf{w}^\top\mathbf{R}(\tau)], \qquad (1)
\]
其中\(\mathbf{w}\in\mathbb{R}^m\)指定了目标之间的线性权衡。由于线性\(u\)与期望可交换，问题退化为具有标量奖励\(r_{\mathbf{w}}=\mathbf{w}^\top \mathbf{r}\)的单目标RL。

为了捕捉更一般的偏好结构，非线性MORL允许\(u\)是非线性的。在这种设置下，期望和标量化不再可交换，从而产生了两个典型的最优性准则：*标量化期望回报*（SER）和*期望标量化回报*（ESR），
\[
J_{\mathrm{SER}}(\pi;u)=u\left(\mathbb{E}_{\tau\sim\pi}[\mathbf{R}(\tau)]\right),\qquad
J_{\mathrm{ESR}}(\pi;u)=\mathbb{E}_{\tau\sim\pi}[u(\mathbf{R}(\tau))]. \qquad (2)
\]
SER和ESR代表了不同的决策情境，并对标量化函数\(u\)赋予了不同的角色。在SER下，\(u_{\mathrm{SER}}\)将期望回报向量聚合成一个标量目标，通常为凹函数，在期望级别上促进目标间的平衡表现[Kim等人 (2025)](https://arxiv.org/html/2606.31178#bib.bib9); [Rădulescu等人 (2020)](https://arxiv.org/html/2606.31178#bib.bib22)。在ESR下，\(u_{\mathrm{ESR}}\)编码了轨迹级别的偏好，不限于凹函数[Cheung (2019)](https://arxiv.org/html/2606.31178#bib.bib12); [Fan等人 (2023)](https://arxiv.org/html/2606.31178#bib.bib18)。这种区别导致了根本不同的最优策略结构和优化方法，确立了非线性MORL的两个核心范式。

### 2.2 非线性MORL中的优化挑战

图1（https://arxiv.org/html/2606.31178#S2.F1）展示了在一个具有\(u_{\mathrm{NSW}}(\mathbf{x})=\sum_{i=1}^m \log x_i\)（Nash社会福利[Kaneko和Nakamura (1979)](https://arxiv.org/html/2606.31178#bib.bib23)）的简单两步MOMDP中，线性、SER和ESR目标下最优策略的差异。非线性MORL产生了线性MORL中不存在的表现：ESR选择了任何线性MORL策略都不会选择的动作，而SER则产生了随机最优策略。除了这些行为差异外，每个准则都提出了独特的优化挑战。

s0
s1
sT
a0: (0,0)
a1: (9,1)
a2: (4,4)
a3: (1,9)

| 目标 | 最优策略\(\pi^*\) | \(u_{\text{NSW}}(\mathbb{E}[\mathbf{R}])\) | \(\mathbb{E}[u_{\text{NSW}}(\mathbf{R})]\) |
|------|------------------|-----------------------------------------|----------------------------------------|
| SER  | \(0.5 a_1 + 0.5 a_3\) | \(\boldsymbol{\log(25)}\) | \(\log(9)\) |
| ESR  | \(a_2\) | \(\log(16)\) | \(\boldsymbol{\log(16)}\) |
| 线性 | \(a_1\)或\(a_3\) | \(\log(9)\) | \(\log(9)\) |

**图1：** 具有\(u_{\text{NSW}}\)的两步MOMDP中，线性、SER和ESR目标下的最优策略。线性MORL的最优策略选择了对应更高加权目标的动作。完整推导见附录B（https://arxiv.org/html/2606.31178#A2）。

#### SER挑战：全局级优化。
在标准RL中，每个状态-动作对的贡献可以通过奖励或优势进行局部评估，从而支持贝尔曼式动态规划。然而，在SER中，非线性标量化应用于期望外部，将所有状态-动作对全局耦合：任何动作的边际贡献取决于策略的整体期望回报向量，而非仅局部信息。这排除了局部改进的可能性，需要在策略诱导分布级别进行优化。在图1（https://arxiv.org/html/2606.31178#S2.F1）中，动作概率必须联合优化，SER最优策略是随机的——严格优于所有确定性策略，这与单目标RL或线性MORL不同。先前的工作[Kim等人 (2025)](https://arxiv.org/html/2606.31178#bib.bib9)通过将问题重新表述为占用测度上的凸优化来解决这一问题，完全绕过了贝尔曼更新。

#### ESR挑战：非马尔可夫策略。
ESR在轨迹级别应用非线性，使得最优动作不仅依赖于当前状态，还依赖于累积回报\(\mathbf{R}_t^{\mathrm{acc}}:=\sum_{k=0}^{t-1}\mathbf{r}(s_k,a_k)\)。对于任意\(t>1\)，ESR目标可以写为：
\[
J_{\mathrm{ESR}}(\pi;u_{\mathrm{ESR}})=\mathbb{E}_\pi\left[u_{\mathrm{ESR}}\left(\mathbf{R}_t^{\text{acc}}+\sum_{k=t}^{H-1}\mathbf{r}(s_k,a_k)\right)\right].
\]
由于非线性，未来回报和\(\mathbf{R}_t^{\text{acc}}\)无法独立优化。因此，在状态\(s_t\)处的最优动作依赖于\(\mathbf{R}_t^{\text{acc}}\)：到达同一状态的轨迹可能根据其回报历史需要不同的动作。ESR最优策略通常不能在原始状态空间上具有马尔可夫性[Cheung (2019)](https://arxiv.org/html/2606.31178#bib.bib12); [Fan等人 (2023)](https://arxiv.org/html/2606.31178#bib.bib18)。将图1（https://arxiv.org/html/2606.31178#S2.F1）中的\(\mathbf{r}(s_0,a_0)\)替换为\(=(2,0)\)会导致\(s_1\)处的ESR最优动作从\(a_3\)变为\(a_2\)，证实了最优动作依赖于回报历史（推导见附录B（https://arxiv.org/html/2606.31178#A2））。先前关于ESR优化的研究[Yu等人 (2023)](https://arxiv.org/html/2606.31178#bib.bib30); [Siddique等人](https://arxiv.org/html/2606.31178#bib.bib31); [Peng等人 (2025)](https://arxiv.org/html/2606.31178#bib.bib7)通过用\(\mathbf{R}_t^{\mathrm{acc}}\)增强状态来解决这一问题，从而在增强空间中恢复马尔可夫性。

## 3 AET：MORL中非线性标量化的统一框架

为了解决轨迹级非线性效用及其在期望级非线性聚合的离线优化问题，我们提出了AET，一个在单一公式中容纳两个非线性层次的统一框架。AET将非线性标量化分解为三个组件：聚合（Aggregation）、期望（Expectation）和变换（Transformation）。AET目标为：
\[
J_{AET}(\pi;F,G)=G\left(\mathbb{E}_{\tau\sim\pi}\left[F(\mathbf{R}(\tau))\right]\right), \qquad (3)
\]
其中\(F:\mathbb{R}^m\to\mathbb{R}^n\)是一个轨迹级变换，由\(n\)个轨迹级效用组成\(F(\mathbf{R})=(f_1(\mathbf{R}),\dots,f_n(\mathbf{R}))\)，而\(G:\mathbb{R}^n\to\mathbb{R}\)是一个期望级聚合。我们假设每个\(f_i\)都是光滑的，并且\(G\)是凹函数，以确保优化景观的良好性。每个\(f_i\)编码了对回报向量的一种独特偏好，将\(m\)维回报向量映射到\(n\)个效用维度，这些维度的期望随后由\(G\)聚合。例如，\(f_i(\mathbf{R})=\log(R_i)\)捕捉了边际效用递减，放大了低表现目标的收益；\(f_i(\mathbf{R})=\exp(R_i)\)捕捉了边际效用递增，放大了已经表现良好目标的收益；而非凸的Cobb-Douglas函数\(f_i(R_1,R_2)=R_1^\rho / (R_2)^{1-\rho}\)捕捉了两个目标之间的效率权衡比率。线性\(G\)线性地聚合期望效用，而凹\(G\)则放大了表现较低的期望效用维度上的收益，鼓励所有效用维度上的均衡表现。

#### 非线性MORL的景观

AET公式通过非线性放置的位置来组织现有的非线性MORL目标。根据\(F\)和\(G\)的非线性，我们识别出四个区域：(i) 线性MORL（线性\(F\)，线性\(G\)），由\(F(\mathbf{R})=\mathbf{R}\)和\(G(\mathbf{v})=\mathbf{w}^\top \mathbf{v}\)恢复；(ii) SER-MORL（线性\(F\)，凹\(G\)），通过保留恒等变换但采用凹聚合\(G\)恢复；(iii) ESR-MORL（非线性\(F\)，线性\(G\)），通过设置\(F=(f_1,\dots,f_n)\)且\(G(\mathbf{v})=\mathbf{1}^\top \mathbf{v}\)恢复；(iv) AET-MORL（非线性\(F\)，凹\(G\)），通过用凹\(G\)聚合\(F=(f_1,\dots,f_n)\)恢复。我们注意到ESR-MORL也可以描述为\(F=f_1+\cdots+f_n\)且\(G(v)=v\)，退化为单个标量效用；我们保留向量表示以将其与AET-MORL清晰区分，后者中凹\(G\)保留了多个效用维度之间的区别。

这种分类明确指出了哪些区域尚缺乏离线方法：虽然线性MORL和SER-MORL已由先前的工作[Zhu等人 (2023)](https://arxiv.org/html/2606.31178#bib.bib3)；[Lin等人 (2024)](https://arxiv.org/html/2606.31178#bib.bib4)；[Kim等人 (2025)](https://arxiv.org/html/2606.31178#bib.bib9)解决，但尚无现有方法处理ESR-MORL或AET-MORL。ESR-MORL已在在线和值迭代设置中得到研究[Yu等人 (2023)](https://arxiv.org/html/2606.31178#bib.bib30)；[Siddique等人]