用于不平衡时间序列分类的 Local Reference Geometry 残差增强

# 面向不平衡时间序列分类的局部参考几何残差增强
来源：https://arxiv.org/html/2609.00093
邱传航，徐衍然，王悦，Anthony Bagnall  
单位：英国南安普顿大学电子与计算机科学学院  
邮箱：C\.Qiu@soton\.ac\.uk，Y\.Xu@soton\.ac\.uk，Yue\.Wang@soton\.ac\.uk，A\.J\.Bagnall@soton\.ac\.ac\.uk

###### 摘要

不平衡时间序列分类通常通过调整训练分布、目标函数、逻辑值或最终阈值来解决。这些方法虽然解决了重要的偏差问题，但留下了一个未被衡量的表征层问题：在减少少数类支持后，学得的特征空间是否在少数类区域周围保持局部可靠性？我们识别出一种训练局部几何失效现象：在不平衡情况下，即使表征保留了有用的全局类结构，少数类样本仍可能位于稀疏、多数类主导或混合的特征空间邻域中。为诊断和修复此问题，我们提出局部参考几何（LRG），这是一个轻量级的后验特征增强模块，应用于固定特征提取器与分类器头之间。LRG仅使用训练特征，测量局部暴露度和类混合风险，然后通过来自附近训练几何的标准化有符号位移和LDA投影残差摘要，增强每个固定特征。在受控的UCR/Bake Off Redux不平衡基准测试中，原始特征与LRG增强特征的配对比较显示，对于学得、预训练和固定表征均有增益，包括当LRG与训练级干预和编码器后分类器校正结合时。消融实验表明，增益来源于附加到原始特征的有符号局部残差，而非来自通用原型距离、亲和特征、标量统计量或VLAD式编码。进一步分析支持所提出的局部几何失效假说：在不平衡下，少数类邻域变得越来越多地暴露于多数类；训练局部风险识别出易出错区域；且LRG增益集中于这些高风险区域。

###### 索引词：

不平衡时间序列分类，表征学习

## I 引言

许多带标签的时间序列数据集包含罕见类别，这些类别对应实际重要的事件，如设备故障、医疗异常或其他安全关键性异常。由此产生的类别不平衡限制了训练期间的少数类支持，并可能使罕见事件识别不可靠。现有方法在流水线的不同阶段解决此问题。数据级方法改变训练分布，但需要访问输入序列并依赖于对时间相似性的假设[1 (https://arxiv.org/html/2609.00093#bib.bib22)]。训练级方法改变采样器、目标函数或训练过程，并且通常需要重新训练编码器[2 (https://arxiv.org/html/2609.00093#bib.bib23)]。编码器后方法调整最终决策规则，同时保持特征空间固定[3 (https://arxiv.org/html/2609.00093#bib.bib9)]。这些干预措施解决了不平衡问题的重要部分，但它们并未检验当训练支持稀缺时，学得的表征在局部是否仍然可靠以识别少数类样本。

长尾识别[4 (https://arxiv.org/html/2609.00093#bib.bib8)]在计算机视觉中将分类器级校正与表征级效应分离：解耦研究表明，在表征学得之后，分类器校正可以是有效的[5 (https://arxiv.org/html/2609.00093#bib.bib16)]，而表征学习研究表明，不平衡也可能扭曲尾类特征几何[6 (https://arxiv.org/html/2609.00093#bib.bib17)]。这引发了不平衡TSC的相应问题：给定现有的时间序列表征，我们能否在不重新训练编码器的情况下，识别并纠正局部少数类的不可靠性？

在这种后验设置中，相关的不可靠性局部于学得的表征。一个少数类样本可能位于附近训练支持稀疏、跨类混合或由非少数类样本主导的区域，即使特征空间在更粗的尺度上仍能分离类别。重加权或校准的分类器可以调整先验或阈值，但它仍然基于表征中已可用的特征进行操作。我们将这种缺失的局部信息研究为训练局部几何失效。可以通过仅从训练集比较少数类暴露度与训练类分布，并估计局部区域的类混合来度量。

为解决特征提取后的这种训练局部失效，我们提出局部参考几何（LRG），这是一种用于固定表征的残差增强方法。LRG是一种监督的后验特征增强方法，使用训练特征和标签，同时保持编码器或变换不变。它在训练表征中构建局部参考区域，然后用有符号局部残差和紧凑的监督残差摘要增强每个特征向量。这些添加的特征提供了关于局部训练支持的信息，而这些信息在原始表征中可能不明确。相同的参考区域还提供局部暴露度和类混合风险的诊断。因此，当特征已由学得的编码器、预训练模型或固定变换产生，并且重新训练特征提取器成本高昂或不切实际时，LRG是有用的。

我们的贡献是：
- • 我们使用少数类邻域暴露度和训练局部类混合风险定义并度量了不平衡TSC的训练局部几何失效。
- • 我们提出LRG，一种监督的后验残差增强方法，从训练特征和标签拟合。LRG用有符号局部残差和LDA投影残差摘要增强每个固定特征向量，同时保持编码器或变换不变。
- • 我们在受控的UCR/Bake Off Redux多比率任务上评估LRG，显示了在学得、预训练和固定表征上的配对增益，与不平衡干预和编码器后校正的兼容性，以及在仅使用训练集诊断识别为高风险区域中更大的增益。

代码和可重复性文件在关联仓库111https://anonymous\.4open\.science/r/LRG中提供。

## II 相关工作

相关工作分为三组：不平衡TSC的数据级和训练级补救措施、编码器后决策规则和长尾校正，以及特征空间几何或局部诊断表征。LRG应用于特征提取之后，并与这些干预点互补。

### II-A 不平衡时间序列补救措施

不平衡时间序列分类方法通常使用较粗的数据级与算法级分类法进行描述[1 (https://arxiv.org/html/2609.00093#bib.bib22)，2 (https://arxiv.org/html/2609.00093#bib.bib23)]。在本文使用的干预点视角下，数据级补救措施通过欠采样、过采样或合成改变训练集，包括SMOTE[7 (https://arxiv.org/html/2609.00093#bib.bib7)]、时间序列变体如e-SMOTE[8 (https://arxiv.org/html/2609.00093#bib.bib31)]和T-SMOTE[9 (https://arxiv.org/html/2609.00093#bib.bib21)]。训练级补救措施改变采样器、学习器、目标函数或训练时逻辑值，包括focal loss[10 (https://arxiv.org/html/2609.00093#bib.bib13)]、Balanced Softmax[11 (https://arxiv.org/html/2609.00093#bib.bib15)]、LDAM[12 (https://arxiv.org/html/2609.00093#bib.bib14)]，以及监督或平衡对比目标[6 (https://arxiv.org/html/2609.00093#bib.bib17)]。这些基线在编码器/分类器训练之前或期间起作用。LRG则询问，已生成的特征空间是否包含与少数类相关的局部失效，这些失效可以在不重新训练编码器的情况下暴露给下游分类头。

### II-B 长尾与编码器后校正

计算机视觉中的长尾识别分离了类别不平衡的两个效应。解耦和校准研究表明，一旦表征固定，校正分类器头可以是一个强有力的干预；平衡表征学习研究表明，不平衡也可能塑造尾类特征几何[4 (https://arxiv.org/html/2609.00093#bib.bib8)，5 (https://arxiv.org/html/2609.00093#bib.bib16)，6 (https://arxiv.org/html/2609.00093#bib.bib17)]。这种区分对LRG很有用：分类器校正是一个强大的冻结特征基线，相关的问题是，在决策规则已校正后，额外的局部残差坐标是否仍然提供信息。最近的时间序列工作已经开始开发相关的表征级目标[13 (https://arxiv.org/html/2609.00093#bib.bib24)，14 (https://arxiv.org/html/2609.00093#bib.bib25)]。LRG与此表征级视角一致，但它是后验的：特征提取器保持固定，校正表达为添加的特征坐标。

编码器后方法也在特征提取后操作，但它们作用于分类器头或决策规则。逻辑值调整[3 (https://arxiv.org/html/2609.00093#bib.bib9)]、Prior2Posterior[15 (https://arxiv.org/html/2609.00093#bib.bib11)]、温度或向量缩放[16 (https://arxiv.org/html/2609.00093#bib.bib10)]、分类器重训练和分类器权重归一化[5 (https://arxiv.org/html/2609.00093#bib.bib16)]校正先验、逻辑值、校准或分类器权重。在冻结特征约束下，这些方法是接近的基线，我们在表IV (https://arxiv.org/html/2609.00093#S6.T4)中评估它们。它们的作用与LRG不同：它们改变现有坐标的读取方式，而LRG暴露一个描述样本相对于附近训练支持位移的坐标。这就是为什么我们的编码器后研究在每种校正规则内使用配对比较，测试在分类器级校正已应用的情况下，LRG是否仍然有用。

### II-C 特征空间几何与诊断表征

在计算层面，LRG接近于在特征空间中引入锚点、原型或投影的方法。原型、度量学习和判别方法学习类原型、度量或投影用于分类[17 (https://arxiv.org/html/2609.00093#bib.bib18)，18 (https://arxiv.org/html/2609.00093#bib.bib19)，19 (https://arxiv.org/html/2609.00093#bib.bib20)]。径向基特征、局部坐标编码和VLAD式残差编码同样通过亲和性、局部编码或来自码本的聚合残差表示输入[20 (https://arxiv.org/html/2609.00093#bib.bib28)，21 (https://arxiv.org/html/2609.00093#bib.bib29)，22 (https://arxiv.org/html/2609.00093#bib.bib30)]。这些方法被设计为通用分类器、投影或特征编码。LRG在问题设置上有所不同：它不学习原型分类器、度量或新表征。相反，它询问局部参考几何能否在表征已学得后暴露与少数类相关的残差信息。这激发了针对原型距离、k-means距离、RBF亲和性、标量局部统计量以及VLAD式编码的局部特征控制。

局部邻域诊断根据邻域组成表征类别重叠、实例硬度和少数类难度，包括数据复杂性度量、k-不一致邻居统计和ADASYN[23 (https://arxiv.org/html/2609.00093#bib.bib32)，24 (https://arxiv.org/html/2609.00093#bib.bib34)，25 (https://arxiv.org/html/2609.00093#bib.bib33)]。LRG共享这种训练邻域视角，但用于不同的目的：相对多数类暴露度通过训练先验标准化局部组成，而有符号残差使用相同的局部框架产生修复坐标。因此，LRG最好被视为后验特征空间修复：它在计算上与基于锚点的特征编码相关，但它的目标是固定表征的训练局部可靠性，并与采样、损失级和分类器级校正互补。

## III 问题设置

### III-A 任务定义与评估指标

我们考虑一个带有标签训练集Dtr=\{\(xi,yi\)\}i=1n\\mathcal\{D\}\_\{\\mathrm\{tr\}\}=\\\{\(x\_\{i\},y\_\{i\}\)\\\}\_\{i=1\}^\{n\}和评估集Dte\\mathcal\{D\}\_\{\\mathrm\{te\}\}的不平衡时间序列任务。表征提取器将每个时间序列映射到特征向量z=f⁡\(x\)∈Rdz=f\(x\)\\in\\mathbb\{R\}^\{d\}。提取器可以是固定变换或学得的编码器。分类器头在训练特征上训练，并在来自Dte\\mathcal\{D\}\_\{\\mathrm\{te\}\}的特征上评估。对于每个数据集-比率任务，少数类根据训练集定义：

ymin=arg⁡minc\|\{i:yi=c\}\|\.y\_\{\\min\}=\\arg\\min\_\{c\}\|\\\{i:y\_\{i\}=c\\\}\|\.\(1\)

我们的基准保留原始标签空间。在多类源数据集中，只有yminy\_\{\\min\}被视为少数类；其余类别在头训练期间作为单独的类别保留，而不是合并为单个负类。少数类导向的指标随后通过将预测二分为yminy\_\{\\min\}与其余类来计算。Sens.表示少数类召回率，Spec.表示特异性，Min-F1是yminy\_\{\\min\}的F1分数。

### III-B 训练局部几何诊断

为量化训练局部可靠性，我们测量在学得的特征空间中，少数类样本被非少数类样本包围的频率。对于每个少数类训练样本ii，令qiq\_\{i\}为其k=5k=5个最近的其他训练样本中不属于yminy\_\{\\min\}的比例。原始局部多数类邻居分数为Ei:yi=ymin\[qi\]\\mathbb\{E\}\_\{i:y\_\{i\}=y\_\{\\min\}\}\[q\_\{i\}\]。这个原始分数取决于特定不平衡划分的多数类频率。因此，我们通过prest=nrest/\(ntr−1\)p\_\{\\mathrm\{rest\}\}=n\_\{\\mathrm\{rest\}\}/\(n\_\{\\mathrm\{tr\}\}\-1\)对其进行归一化，这是在相同训练划分下，少数类查询的随机邻居期望，其中nrestn\_\{\\mathrm\{rest\}\}是非少数类训练样本的数量，并定义相对多数类暴露度（RRE）为

RRE=Ei:yi=ymin\[qi\]prest\.\\mathrm\{RRE\}=\\frac\{\\mathbb\{E\}\_\{i:y\_\{i\}=y\_\{\\min\}\}\[q\_\{i\}\]\}\{p\_\{\\mathrm\{rest\}\}\}\.\(2\)

当局部多数类邻居率匹配划分特定的多数类先验时，RRE等于一；更大的值表明少数类邻域比仅从先验预期的暴露更多。对于一系列数据集-比率任务，RRE首先在每个任务内计算，然后跨任务平均；它不是平均局部分数与平均全局先验的比率。所有邻域诊断仅从训练特征和标签计算。

## IV 局部参考几何

LRG使用一个训练局部参考框架进行诊断和修复。标量输出，包括暴露度和类混合风险，诊断局部不可靠区域；向量输出提供用于修复的有符号残差坐标。本节定义修复特征，而分析部分使用相同的框架测试高风险区域是否与原始预测失效重合。

### IV-A 局部参考区域

令ff表示固定特征提取器；学得的编码器在LRG拟合前训练，且不被LRG更新。LRG作用于经过训练集统计标准化然后l2\\ell\_\{2\}-归一化的展平特征。