面向长尾分布的谱感知解析类增量学习

arXiv cs.LG 论文
continual-learning class-incremental long-tailed spectral-regularization analytic-learning deep-learning

摘要

提出几何-谱修正（GSR），这是一个理论严谨的框架，将长尾学习视为谱正则化问题，在解析类增量学习上取得了新的最先进结果。

arXiv:2607.22931v1 Announce Type: new Abstract: 解析持续学习（ACL）提供了一种计算高效的替代梯度方法。最近的ACL方法基于递归最小二乘法（RLS），并取得了相比其他替代方法的最优结果。然而，在长尾分布的类增量学习场景中，这些方法表现显著不佳。虽然自相关（Gram）矩阵的病态条件是RLS已知的局限性，但我们证明类别不平衡将这个问题恶化为一种独特的谱病理："尾"类遭受严重的谱坍缩，使其子空间在数值上与噪声无法区分。标准岭回归（$L_2$）无法有效解决此问题，因为它应用各向同性正则化——一种统一惩罚，不足以稳定尾部而不过度收缩头部。为解决此问题，我们提出几何-谱修正（GSR），这是一个理论严谨的框架，将长尾学习视为谱正则化问题。不同于标准各向同性正则化（Ridge）均匀惩罚所有特征值，GSR充当各向异性谱滤波器，选择性地膨胀尾类的坍缩特征值。我们构建一个结构化的、数据依赖的谱扰动矩阵 $\Delta$，该矩阵选择性地膨胀Gram矩阵中坍缩的尾部特征方向。理论分析证明，GSR保证了Gram矩阵稳定秩的提升，确保数值稳定性。大量实验表明，GSR在解析CIL中建立了新的最先进水平，在长尾设置中提供了计算效率与鲁棒泛化之间的优越权衡。
查看原文
查看缓存全文

缓存时间: 2026/07/28 06:23 

# 频谱感知分析类增量学习用于长尾分布
来源：https://arxiv.org/abs/2607.22931
查看 PDF (https://arxiv.org/pdf/2607.22931)

> 摘要：分析式持续学习（ACL）提供了一种比基于梯度方法计算效率更高的替代方案。近期基于递归最小二乘法（RLS）的ACL方法已取得相较于其他方案的最优结果。然而，在具有长尾分布特征的类增量学习场景中，这些方法性能显著下降。尽管自相关（Gram）矩阵的病态性是RLS的已知局限，我们证明类别不平衡会将此问题加剧为独特的谱病理现象："尾部"类别会遭受严重的谱崩溃，使其子空间在数值上与噪声难以区分。标准岭回归（$L_2$）因采用各向同性正则化（一种均匀惩罚项，在稳定尾部时会导致头部过度收缩）而无法有效解决此问题。为此，我们提出几何-谱矫正（GSR）算法，这是一个将长尾学习视为谱正则化问题的理论框架。与标准各向同性正则化（岭回归）对所有特征值施加均匀惩罚不同，GSR作为各向异性谱滤波器，可选择性地放大尾部类别的崩溃特征值。我们构建了一个结构化的数据依赖谱扰动矩阵 $\Delta$，能选择性放大Gram矩阵中崩溃的尾部特征方向。理论分析证明GSR能保证Gram矩阵稳定秩的改善，确保数值稳定性。大量实验表明，GSR在分析式CIL中建立了新的最优水平，在长尾场景下实现了计算效率与稳健泛化能力之间的优越平衡。

## 提交历史

来自：Quan Dao [查看邮箱 (https://arxiv.org/show-email/c38520a4/2607.22931)] **\[v1\]** 2026年7月24日星期五 22:12:15 UTC (120 KB)

相似文章

用于领域泛化数据集蒸馏的频谱梯度手术

arXiv cs.LG

本文引入了领域泛化数据集蒸馏（DGDD），这是一个新的问题设定，旨在实现蒸馏数据集的分布外泛化，并提出了频谱梯度手术（SGS），通过利用频谱域中的跨域梯度一致性来解耦类判别信息和领域特定信息。

大型语言模型的频谱特征

arXiv cs.CL

本文介绍了一种基于频谱形状的度量，利用重尾自正则化理论来表征、比较和管理大型语言模型。该方法无需数据、计算高效且尺度不变，支持跨多种模型集合的血统追踪、无监督聚类和性能量化。