通过迭代顺序迁移解决小样本多目标多任务优化

# 通过迭代序列迁移求解少样本多目标多任务优化
来源：https://arxiv.org/html/2609.11228
Tingyang Wei
单位：南洋理工大学计算与数据科学学院，新加坡
tingyang001@e\.ntu\.edu\.sg
Haofeng Wu
单位：南洋理工大学计算与数据科学学院，新加坡
haofeng\.wu@ntu\.edu\.sg
Ananda Phan Iman
单位：AI融合系，光州科学技术院（GIST），韩国
anandaphan@gm\.gist\.ac\.kr
单位：
Zhao Wei
Jiao Liu
单位：南洋理工大学计算与数据科学学院，新加坡
jiao\.liu@ntu\.edu\.sg
Yew\-Soon Ong
单位：南洋理工大学计算与数据科学学院，新加坡
ASYSOng@ntu\.edu\.sg

###### 摘要
通过在多个优化任务之间应用知识迁移，多任务优化（MTO）成为同时求解协同优化任务的一种有前景的方法。然而，MTO中有效知识迁移机制的发展根本上依赖于跨任务精英解分布的对齐。这一依赖在*少样本优化*领域造成了关键瓶颈，因为有限的评估预算阻碍了识别有益迁移所需的精英解分布。在多目标多任务问题中，这一挑战更为严峻，因为每个优化器必须逼近一个连续的帕累托流形，而非单一最优点。本文引入迭代序列迁移（IST）以规避此瓶颈。我们将MTO建模为一系列序列迁移优化问题，每次迭代将评估集中在单一目标任务上。我们提出了一种似然信息驱动的任务优先级排序机制，通过识别最可能准备好进行知识整合的任务来最大化迁移效用。在基准问题和实际问题上的实验结果验证了所提方法在预算紧张情况下的有效性。

###### 索引术语：迁移优化、进化多任务、迁移进化优化、高斯过程、多目标优化。

## I 引言
迁移优化[1 (https://arxiv.org/html/2609.11228#bib.bib17)]作为一种通过充分利用任务间关系来解决优化问题的新方法，近年来受到了广泛关注。考虑到现实世界的优化问题很少孤立存在[2 (https://arxiv.org/html/2609.11228#bib.bib8)]，迁移优化方法旨在避免从头开始优化给定任务，并减轻过重的计算负担。迁移优化范式的几种概念实现，包括序列迁移优化（STrO）[3 (https://arxiv.org/html/2609.11228#bib.bib24), 4 (https://arxiv.org/html/2609.11228#bib.bib6)]、多任务优化[5 (https://arxiv.org/html/2609.11228#bib.bib18), 6 (https://arxiv.org/html/2609.11228#bib.bib22), 7 (https://arxiv.org/html/2609.11228#bib.bib4)]和多形式优化[8 (https://arxiv.org/html/2609.11228#bib.bib13)]，在知识迁移的背景下催生了大量研究。特别是，多任务优化（MTO）[5 (https://arxiv.org/html/2609.11228#bib.bib18), 7 (https://arxiv.org/html/2609.11228#bib.bib4)]作为一种利用任务间协同效应同时解决多个优化任务的通用方法而出现。MTO可以形式化为：
\min f_\{k\}(\mathbf\{x\}_\{k\}),~~\text{s.t.}~\mathbf\{x\}_\{k\}\in\Omega_\{k\},~~k\in\{1,\ldots,K\},\ (1)
其中\(\Omega_\{k\}\)是第\(k\)个优化问题的决策空间，\(f_\{k\}\)是第\(k\)个任务的目标函数。MTO同时处理不同的问题，因此旨在生成输出\((\mathbf\{x\}_\{1\}^\{\*\},\mathbf\{x\}_\{2\}^\{\*\},\ldots,\mathbf\{x\}_\{K\}^\{\*\})\)，它们分别是每个任务的最优解。为实现这一点，MTO寻求在不同的优化问题之间开发适当的知识迁移机制，无论是隐式共享解分量[5 (https://arxiv.org/html/2609.11228#bib.bib18), 6 (https://arxiv.org/html/2609.11228#bib.bib22), 9 (https://arxiv.org/html/2609.11228#bib.bib31)]，还是显式地在任务对之间建立映射[10 (https://arxiv.org/html/2609.11228#bib.bib30), 11 (https://arxiv.org/html/2609.11228#bib.bib23)]。得益于这些知识迁移机制，近年来MTO在众多应用[12 (https://arxiv.org/html/2609.11228#bib.bib14)]中取得了显著进展，包括系统级封装设计[13 (https://arxiv.org/html/2609.11228#bib.bib16)]、网格壳设计[14 (https://arxiv.org/html/2609.11228#bib.bib10)]和避碰控制[15 (https://arxiv.org/html/2609.11228#bib.bib15)]。

尽管进展迅速，但这些迁移机制的有效性根本上取决于跨任务精英解分布的对齐[16 (https://arxiv.org/html/2609.11228#bib.bib9)]。为了使知识迁移有益，源任务应在自身的搜索空间中提供高质量的解分布[17 (https://arxiv.org/html/2609.11228#bib.bib29)]，以准确指导目标任务。否则，停滞的源任务很可能引发有害的负迁移[17 (https://arxiv.org/html/2609.11228#bib.bib29)]。这一依赖在*少样本优化*领域造成了关键瓶颈。在严格的评估预算下，有限的评估通常分散在所有任务中，无法识别任何单个任务内的高质量解，从而导致搜索停滞或负迁移[18 (https://arxiv.org/html/2609.11228#bib.bib19)]。在多目标情况下，这一挑战进一步加剧，因为优化器必须逼近一个连续的帕累托流形，而非单一最优点[14 (https://arxiv.org/html/2609.11228#bib.bib10)]。将有限的预算分散到多个多目标搜索任务中，更可能阻碍任何任务识别精英解集，加剧负迁移风险和资源利用低效。

为了解决这个问题，我们将序列迁移优化器定位为解决少样本多目标多任务优化的实用方法，并通过迭代序列迁移（IST）框架提供经验证据。序列迁移优化（STrO）可以形式化表示为：
\min\_\{\mathbf\{x\}_\{T\}\in\Omega\_\{T\}\}\ f\_\{T\}(\mathbf\{x\}_\{T\})\quad\text{given}\quad\{\mathcal\{D\}\_\{S\_\{k\}\}\}\_\{k=1\}^\{K\},\ (2)
其中\(\mathcal\{D\}_\{S\_\{k\}\}\)是源任务\(S\_\{k\}\)的优化历史，包括评估的解\(\{(\mathbf\{x\}\_\{S\_\{k\}\}^\{(t)\}, f\_\{S\_\{k\}\}(\mathbf\{x\}\_\{S\_\{k\}\}^\{(t)\}))\}\_\{t=1\}^\{N\_\{t\}\}\)。在这方面，MTO可以显式地转化为一系列STrO问题，其中在每次迭代中，我们选择目标任务\(T\)及其源任务集\(\{S\_\{k\}\}\)以最大化通用迁移效用，从而仅在最有益时应用知识迁移。这可能缓解少样本挑战。同时，STrO最近已发展成一个成果丰硕的研究方向，具有理论知情的表述[19 (https://arxiv.org/html/2609.11228#bib.bib12), 20 (https://arxiv.org/html/2609.11228#bib.bib11), 21 (https://arxiv.org/html/2609.11228#bib.bib7)]和有原则的实证分析[22 (https://arxiv.org/html/2609.11228#bib.bib28)]，使其成为我们IST框架的坚实基础。

为了有效地将MTO根据搜索动态转化为一系列STrO，我们引入了一个简单的似然信息驱动的任务优先级排序机制。在本研究中，我们关注在严格计算预算下复杂的多目标多任务优化（MOMTO）。多目标优化的内在复杂性，加上少样本优化的需求，加剧了MTO的难度。为了验证我们的立场，我们在少样本MOMTO基准问题和实际问题上测试了基于最近STrO方法*前向-逆向迁移进化多目标优化器*（F-invTrEMO）[21 (https://arxiv.org/html/2609.11228#bib.bib7)]的IST框架。此外，我们将此IST框架应用于另一个强大的STrO方法，AMTEA[3 (https://arxiv.org/html/2609.11228#bib.bib24)]，展示了所提方法的通用性。我们定位IST框架不仅能够凸显在少样本多目标领域实现更有效MTO的潜力，而且为融合STrO和MTO的进展提供了灵活的基础。相关源代码可在以下链接找到：https://github\.com/ambigeV/stro。

(a)(b)
图1：不同多任务优化框架的工作流程。(a) 标准多任务优化（任务均匀评估）(b) 提出的基于迭代序列迁移优化的多任务优化（任务选择性评估）。

## II 相关工作
### II-A 少样本多目标多任务优化
本工作通过将（1 (https://arxiv.org/html/2609.11228#S1.E1)）中的标量函数\(f\_\{k\}(\cdot)\)扩展到具有\(m\)个目标的向量值函数\(F\_\{k\}(\cdot)\)，来处理少样本多目标MTO（MOMTO）。与允许每个任务进行\(O(10^\{5\})\)次评估[23 (https://arxiv.org/html/2609.11228#bib.bib21)]的标准MTO基准不同，我们将每个任务的预算限制在\(O(10^\{2\})\)。这种*少样本优化*设置更好地反映了现实世界的约束，并对搜索和迁移机制的效率提出了更高要求。据我们所知，该特定领域的研究工作仍然有限。然而，初步方法包括维护不同类型的代理模型[24 (https://arxiv.org/html/2609.11228#bib.bib27)]或构建逆向多任务模型[21 (https://arxiv.org/html/2609.11228#bib.bib7)]来处理多个昂贵的多目标任务。后一种方法，F-invTrEMO[21 (https://arxiv.org/html/2609.11228#bib.bib7)]，由于其可扩展的灵活性，作为本文的基线方法。

### II-B 序列迁移优化
STrO，如（2 (https://arxiv.org/html/2609.11228#S1.E2)）中所述，利用来自源数据或模型的优化经验来加速目标任务的搜索。先驱方法AMTEA将迁移堆叠应用于自适应地组合现有代理来解决目标多目标问题[3 (https://arxiv.org/html/2609.11228#bib.bib24)]。其他相关研究专注于通过迁移高斯过程[19 (https://arxiv.org/html/2609.11228#bib.bib12)]、逆向建模[20 (https://arxiv.org/html/2609.11228#bib.bib11)]或最优传输[25 (https://arxiv.org/html/2609.11228#bib.bib26)]来桥接源域和目标域。受到近期理论进展[19 (https://arxiv.org/html/2609.11228#bib.bib12), 7 (https://arxiv.org/html/2609.11228#bib.bib4), 26 (https://arxiv.org/html/2609.11228#bib.bib25)]和可扩展性改进[4 (https://arxiv.org/html/2609.11228#bib.bib6)]的启发，我们提出通过迭代序列迁移来解决少样本MOMTO，灵感源于MTO和STrO之间的结构相似性以及第I节中提到的少样本优化挑战。

算法1 IST通用框架
输入：任务数\(K\)，初始预算\(N\_\{init\}\)，每个任务的总预算\(N\_\{tot\}\)，每个任务\(k\)的目标函数\(F\_\{k\}\)，任务优先级排序函数\(\phi(\bullet)\)。
输出：每个优化任务的最优解。
1. 对于每个*任务k*执行
2. 评估任务\(k\)的目标函数\(F\_\{k\}\)，进行\(N\_\{init\}\)次迭代
3. \(\text{Eval}\_\{k\} \leftarrow N\_\{init\}\)
4. 结束对于
5. 当*终止条件未满足*时执行
6. \(k \leftarrow \argmax\_\{t\in\{1,...,K\}\land \text{Eval}\_\{t\}\le \theta\} \phi(t)\) // 接收指数级提升的选择优先级，所有低于此阈值的任务共享相同的基线权重（\(e^\{0\}=1\)）。这确保了即使源-目标似然极低的任务也能以非零概率被选择，防止任何任务在迭代过程中被永久冻结。
...

## IV 实验研究
为了验证所提IST框架和似然信息驱动的任务优先级排序机制的有效性，我们在MOMTO基准问题和多目标多任务超参数优化问题上进行了比较研究。此外，为了进一步证明该框架的通用性，我们在第IV.D节通过扩展一个著名的序列迁移优化器AMTEA[3 (https://arxiv.org/html/2609.11228#bib.bib24)]到AMTEA-IST，实例化了另一个基于IST的算法。我们将IST框架下的F-invTrEMO实现称为F-invTrEMO-IST。我们将F-invTrEMO-IST与经典的ParEGO进行比较，因为许多STrO方法[19 (https://arxiv.org/html/2609.11228#bib.bib12), 20 (https://arxiv.org/html/2609.11228#bib.bib11), 21 (https://arxiv.org/html/2609.11228#bib.bib7)]是基于这个单任务少样本多目标优化器构建的，同时也与少样本多目标多任务优化器F-invTrEMO进行比较。更多详细的参数设置可参考补充材料111补充材料：https://zenodo\.org/records/19060595。基准问题的实验独立重复20次，超参数优化问题的实验独立重复10次。

### IV-A 测试问题
我们在多目标多任务基准问题[23 (https://arxiv.org/html/2609.11228#bib.bib21)]上进行比较研究。它包括九个MOMTO问题，每个问题包含两个任务，在搜索空间相似性和最优值交集方面具有特定关系。最优值交集包括完全交集（CI）、部分交集（PI）和无交集（NI），而搜索空间相似性包括高相似性（HS）、中等相似性（MS）和低相似性（LS）。这些属性可以组合成九组问题，包括CIHS、CIMS、CILS、PIHS、PIMS、PILS、NIHS、NIMS和NILS。然而，本文未包含NIMS和NILS，因为我们的工作基于基于分解的多目标优化器，无法解决具有不同目标数量的多任务问题（如NIMS和NILS）。关于此限制，我们将其作为未来方向。测试问题的更多细节可参考补充材料。我们采用反世代距离（IGD+）[30 (https://arxiv.org/html/2609.11228#bib.bib20)]作为量化算法性能的指标，如[23 (https://arxiv.org/html/2609.11228#bib.bib21)]中所推荐。IGD+的详细信息可参考补充材料。统计显著性检验采用Wilcoxon符号秩检验。

(a)(b)
图2：ParEGO、F-invTrEMO和F-invTrEMO-IST在多任务优化基准上的IGD+收敛趋势：(a) PIHS (b) NIHS。

表I：ParEGO、F-invTrEMO和F-invTrEMO-IST在多任务优化基准上的IGD+比较结果
问题 | 任务 | ParEGO | F-invTrEMO | F-invTrEMO-IST
--- | --- | --- | --- | ---
CIHS | 任务-1 | 1.516E+02 (1.545E+01) + | 8.061E+01 (1.534E+01) + | 7.156E+01 (1.142E+01)
| 任务-2 | 4.877E+00 (3.150E-01) + | 3.557E+00 (2.329E-01) \approx | 3.389E+00 (1.925E-01)
CIMS | 任务-1 | 2.523E+02 (2.057E+01) + | 2.086E+02 (2.658E+01) + | 1.954E+02 ...