标签
本文介绍了一个在随机优化中减少每样本损害的框架，其中来自批次平均和历史状态的参数更新会增加单个样本的损失。该方法采用降维技术，并专注于最后一层线性层以提高效率，在图像分类任务上展示了更好的泛化性能。
本文提出了一个多目标优化中梯度聚合的统一理论框架，建立了收敛到帕累托平稳性的速率。作者引入了一个充分对齐条件，并展示了其在现有算法和新算法（如 capped MGDA）中的应用。