面向类别不平衡的模型无关元学习适应方法

# 面向类别不平衡的模型无关元学习  
来源：https://arxiv.org/html/2604.18759  
Hanshu Rao 孟菲斯大学 [email protected] & Guangzeng Han 孟菲斯大学 [email protected] & Xiaolei Huang 孟菲斯大学 [email protected]  

###### 摘要  

类别不平衡是 NLP 任务中普遍存在的挑战，严重阻碍了模型在不同领域和应用中的鲁棒表现。我们提出 Hardness-Aware Meta-Resample（HAMR）<sup>1</sup>，代码已开源：https://github.com/trust-nlp/ImbalanceLearning，该统一框架自适应地同时解决类别不平衡与样本难度问题。HAMR 采用双层优化，动态估计实例级权重，优先关注真正难学的样本与少数类；同时，基于邻域的重采样机制将训练重点放大到难例及其语义相似的邻居。我们在六个涵盖生物医学、灾害响应和情感分析等任务的不平衡数据集上验证 HAMR，结果显示其在少数类上取得显著提升，并持续优于强基线。大量消融实验表明，所提模块协同增益，彰显 HAMR 作为灵活且可泛化的类别不平衡适应方法。

面向类别不平衡的模型无关元学习  

Hanshu Rao 孟菲斯大学 [email protected]  
Guangzeng Han 孟菲斯大学 [email protected]  
Xiaolei Huang 孟菲斯大学 [email protected]  

## 1 引言  

类别不平衡广泛存在于文本分类（Padurariu and Breaban, 2019）和命名实体识别（Nemoto et al., 2024）等任务中，给鲁棒训练带来挑战。例如，在商品评论情感分析中，大量泛泛的正面评价会淹没少数揭示关键产品缺陷的负面评论（Henning et al., 2023）。多数类的压倒性优势使标准模型偏向高准确率，却忽视稀有却通常更关键的少数类，导致现实场景下泛化性能骤降。  

现有研究主要采用重加权与重采样两大互补策略。前者通过算法修正损失函数，对少数类错误施加更大惩罚，如逆频率加权（Wang et al., 2010）、focal loss（Lin et al., 2020）和 Dice loss（Li et al., 2020）。后者在数据层面干预训练分布，从简单过采样到复杂合成数据生成（Bowyer et al., 2011；Lu et al., 2025；Han et al., 2025）。近期工作进一步融合两者，通过“有效样本数”校准损失或解耦表示学习与分类器训练（Cui et al., 2019；Kang et al., 2020）。  

![图1：HAMR 框架。内层用预元权重做中间模型更新；外层根据元验证反馈更新权重网络，再用后元权重执行实际模型更新。基于嵌入的邻域引导重采样聚焦难例簇，与自适应加权协同提升泛化。](https://arxiv.org/html/2604.18759#S1.F1)  

然而，这些方法多依赖预定义、静态启发式，对整个类别一视同仁，全程使用固定调整率（van den Goorbergh et al., 2022），忽略了“样本难度未必与类别归属一致”的关键洞察：并非所有少数类样本都难分，也并非所有多数类样本都易分。因此，静态重加权可能无谓降低有信息量的多数类权重，或过度强调易学的少数样本，导致学习动态次优。研究空白在于亟需自适应方法，能动态识别并优先关注真正难学的样本，无论其类别，随模型对数据分布理解的演进而调整策略（Martins et al., 2023；Jain et al., 2024）。  

为此，我们提出 Hardness-Aware Meta-Resample（HAMR），一个统一的元学习框架，通过显式建模实例级难度应对类别不平衡。HAMR 不依赖静态类别启发式，而是动态优先训练条目，自适应引导模型聚焦对泛化最关键的部分。具体而言，整合自适应权重估计与难感知区域重采样两大模块。贡献如下：  
1）提出 HAMR，联合解决类别不平衡与实例难度，动态识别并优先关注对泛化最关键的样本，跨越多数与少数类。  
2）引入双层元优化，根据样本对表现的贡献自适应估计其重要性，超越基于频率或固定重加权，可随数据难度与模型学习动态演变。  
3）提出难感知区域重采样范式，在语义邻域层面而非孤立样本层面重构有效训练分布，提升极端长尾分布下的鲁棒性。  

## 2 方法  

现有重加权（Li et al., 2020）或重采样（Moreo et al., 2016）多静态地关注少数类或难例。未解之问是：少数类是否应始终被优先？若能动态随不平衡模式调整训练重点，会否更好？为此，我们采用元学习框架（Ren et al., 2018），提出图 1 所示的 HAMR。HAMR 通过两大模块解耦“学什么”与“怎么学”：自适应权重估计动态引导跨类别实例级学习信号；难感知区域重采样将训练分布重塑至挑战性语义区域。算法 1 联合优化自适应加权与区域重采样，于内外环朝向不平衡泛化。  

### 2.1 自适应权重估计  

静态启发式权重难以匹配训练演进需求。本模块通过权重网络动态衡量样本难度与学习效用。针对 token 级任务（如 NER），采用句子级最大 token 损失  
\~ℓ_i = max_t ℓ_{i,t}，其中 ℓ_{i,t} 为序列 i 中第 t 个 token 的损失；对分类或序列标注任务，使用交叉熵损失。经 batch 内 z-score 归一化后，轻量网络 f_θ 将难度分映射为重要性权重 w_i，并做 batch 内均值归一化与范围裁剪。  

通过双层元学习训练权重网络：内环用预元权重 {w_i^pre} 做任务模型 f_φ 的中间更新，得 φ′；外环在平衡的元验证集 D_meta 上评估 φ′，更新 θ 以最小化元损失 L_meta。随后用更新后的 θ 计算同批后元权重 {w_i^post}，执行实际模型更新。  

### 2.2 难感知区域重采样  

自适应加权仅解决“如何学”，未控制“可见哪些样本”。现有方法假定稀有标签始终应被重视，却忽略难例集合会漂移。HAMR 提出采样策略，动态调整训练可见的难样本，综合个体难度与语义邻域。  

策略主动探索数据空间的邻域区域，而非孤立难例。周期性地（如每 epoch 末）执行邻域增强：先按硬度分数 h_i 选 top 20% 难例，再用 KNN 在预计算嵌入上为每难例构建 k 近邻；使用 FAISS 索引加速。样本 i 的邻域增强分 b_i 为其出现在难例邻域的总次数，归一化至 [0,1]，实现难度向语义相似邻居的扩散。  

最终采样概率  
p_i ∝ (h_i+ε)^τ · (1+λb_i)，  
其中温度 τ<1 鼓励均衡探索，λ 控制邻域增强强度。个体硬度 h_i 由 2.1 节权重网络初始化的样本权重经 EMA 更新得到，较大 h_i 者被视为更难，获得更高被采样概率。  

算法 1 HAMR 统一训练流程  
输入：数据集 D，元集 D_meta，模型 f_φ，权重网络 f_θ  
参数：学习率 α,β，EMA 因子 γ，KNN 刷新间隔 F  

1. 每 epoch  
   1. 若 epoch mod F = 0，则通过 KNN 更新邻域增强 b  
   2. 计算采样概率 p 并采样 mini-batch B  
   3. 计算 B 的 per-example 损失 \~ℓ；w^pre ← f_θ(\^ℓ)  
   4. 内环：φ′ ← φ − α ∇φ〈w^pre,\~ℓ〉  
   5. 元环：θ ← θ − β ∇θ L_meta(D_meta; φ′)  
   6. 计算后元权重 w^post 并实际更新 φ