并非所有目标天生平等：Priority-Constrained Descent 用于层次多目标优化

Hugging Face Daily Papers 论文
multi-objective-optimization gradient-descent deep-learning optimization-framework machine-learning hierarchical-optimization pareto-optimization

摘要

本文介绍了 Priority-Constrained Descent (PCD)，这是一个针对层次多目标问题的基于梯度的优化框架，它在保持主要下降方向的同时，允许对次要目标进行最小的扭曲。

深度学习问题很少涉及同等重要的目标。主要目标定义了核心目的，而次要目标，如稀疏性、压缩或鲁棒性，则对解决方案施加约束。虽然现有的多目标方法在实践中已被证明有效，但它们存在明显的对称性问题，并忽略了这些目标空间中固有的层次结构。我们引入了 Priority-Constrained Descent (PCD)，这是一个基于梯度的优化框架，旨在显式利用层次化目标结构。PCD在保持主要下降方向的同时，允许进行最小的扭曲以确保在次要目标上取得进展，这种扭曲由单一参数τ在[0, 1]范围内控制，该参数决定了扭曲的强度。由此产生的公式对目标缩放不变，并且对于具有两个和三个目标的问题，允许精确的闭式解。我们在结构化网络压缩设置、非结构化稀疏性和低秩性，以及各种合成实验中评估了PCD，结果显示其相对于现有方法具有帕累托优势和更好的单目标性能，并保证了次要目标的进展，进一步展示了τ提供的可解释权衡。
查看原文
查看缓存全文

缓存时间: 2026/09/29 08:10

论文页面 - 并非所有目标生而平等：层级多目标优化中的优先级约束下降法

来源：https://huggingface.co/papers/2606.29521

摘要

深度学习问题很少涉及重要性均等的目标。一个主要目标定义了核心目的，而次要目标（如稀疏性、压缩性或鲁棒性）则对解决方案施加约束。尽管现有的多目标方法在实践中已被证明有效，但它们存在明显的对称性问题，并且忽略了这些目标空间中固有的层级结构。我们提出了优先级约束下降法，这是一种基于梯度的优化框架，旨在明确利用目标层级结构。PCD在保持主要下降方向的同时，允许为保证次要目标进展所需的最小失真，该失真强度由一个位于区间[0,1]内的参数τ控制。由此得到的公式对于目标缩放具有不变性，并且对于包含两个和三个目标的问题，它允许存在精确的闭式解。我们在结构化网络压缩设置、非结构化稀疏性和低秩性，以及各种合成实验中评估了PCD，结果显示，与现有方法相比，PCD实现了帕累托支配，在保证次要目标进展的前提下提供了更优的单个目标性能，并展示了τ所提供的可解释的权衡。

查看arXiv页面 (https://arxiv.org/abs/2606.29521)查看PDF (https://arxiv.org/pdf/2606.29521)项目主页 (https://daravaram.github.io/PCD/)GitHub2 (https://github.com/DaraVaram/priority-constrained-descent)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.29521)

在你的智能体中获取此论文：

hf papers read 2606.29521

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

无模型链接此论文

在模型的README.md中引用 arxiv.org/abs/2606.29521 以从本页面链接。

引用此论文的数据集 0

无数据集链接此论文

在数据集的README.md中引用 arxiv.org/abs/2606.29521 以从本页面链接。

引用此论文的空间 0

无空间链接此论文

在空间的README.md中引用 arxiv.org/abs/2606.29521 以从本页面链接。

包含此论文的收藏集 0

无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从本页面链接。

相似文章

多目标优化中梯度聚合的统一框架

arXiv cs.LG

本文提出了一个多目标优化中梯度聚合的统一理论框架，建立了收敛到帕累托平稳性的速率。作者引入了一个充分对齐条件，并展示了其在现有算法和新算法（如 capped MGDA）中的应用。