无需更深网络即可加速学习：基于A*的批量选择方法实现高效CNN训练

# 学习更快而不需要更深的网络：受A*启发的批量选择方法用于高效CNN训练
来源：https://arxiv.org/html/2607.15745
Anxhelo Shehu¹, Enes Stastoli¹, Arben Cela¹,²  
¹AI实验室，地拉那城市大学，阿尔巴尼亚地拉那  
²图像信号与智能系统实验室，ESIEE Paris，法国巴黎  
邮箱：{anxheloshehu, estastoli}@umt.edu.al, [email protected]

###### 摘要

训练卷积神经网络（CNN）时，常见的做法是使用随机打乱的小批量数据。在此训练阶段，面临两个局限性：首先是收敛速度变慢，其次是由于训练过程中存在大量被视为“简单”的样本，导致学习信号贡献有限。

在我们的工作中，我们旨在通过提出 *受A*启发的批量选择方法*（A*-BS）来解决这些低效问题。这是一种轻量级且与模型无关的训练策略，它将小批量调度形式化为一个启发式搜索问题。在这种批量选择过程中，每个批次被视为搜索空间中的一个节点，并通过结合基于损失的难度度量与重用惩罚，使用类似A*的分数进行排序。该方法的两大优势是：促进信息丰富的梯度更新，以及在整个训练过程中实现批次的多样化选择。所提出的方法不修改网络架构或优化算法，可以无缝集成到现有的训练流程中。我们在MedMNIST-v2基准测试的十二个二维分类任务上评估了该方法，使用了参数约为2.25×10⁵的简单架构，并与基准报告中的ResNet-18和ResNet-50基线进行了比较。

在其中的一半任务中，轻量级模型结合A*-BS达到了比两个ResNet基线更高的准确率和AUC，相对提升高达15%。此外，在相同的CNN架构和超参数下进行的消融实验表明，A*-BS在所有十二个MedMNIST任务上均优于随机批次打乱。实时测量进一步表明，在相同硬件上，使用A*-BS的轻量级CNN训练速度明显快于ResNet-18和ResNet-50。

这些结果表明，智能的批次排序可以在一定程度上弥补架构复杂度的降低，从而为更深层的模型提供一种计算高效的替代方案。此外，该策略在简单CNN上的强劲表现，即使与更深层、更复杂的架构相比，也进一步增强了其可靠性。

关键词——批量选择，启发式搜索，A*算法，课程学习，CNN，MedMNIST-v2，消融研究

## I 引言

深度学习模型，尤其是CNN，已成为跨多个领域（包括医学影像、自主系统和计算机视觉）图像分类任务的主流方法。尽管取得了成功，但CNN通常需要在大规模数据集上进行大量训练和长时间的优化，这仍然是重大挑战，尤其是在计算资源有限的情况下[1](https://arxiv.org/html/2607.15745#bib.bib1)。通过在训练流程中使用随机打乱的小批量和随机梯度下降，我们隐含地假设所有训练样本将对学习过程做出同等贡献。

然而，在实践中情况并非如此。通常，在训练的早期阶段，数据集中大量的“简单”样本会被正确分类，但缺点是后期它们提供的信息梯度有限。对课程学习和自适应数据选择策略的研究动机正是源于这样一个问题：频繁地将计算浪费在对性能提升贡献甚微的样本上，而更具挑战性或信息量的样本往往未被充分利用。本研究旨在以更有意义的选择顺序呈现训练样本，以加速收敛并提高泛化能力。

受启发式搜索和路径查找算法的启发，本文提出了一种受A*算法启发的新颖批次调度策略[2](https://arxiv.org/html/2607.15745#bib.bib2)。我们不随机选择小批量，而是将每个批次视为搜索空间中的一个节点，并根据一个类似A*的评估函数（该函数平衡批次难度与探索）来确定训练优先级。A*算法因其通过结合启发式估计与累积成本来高效导航搜索空间而广为人知，其理论性质已在文献中得到广泛研究[3](https://arxiv.org/html/2607.15745#bib.bib3)。通过将这些原理融入训练过程，且无需更改网络架构或优化算法，我们旨在引导优化器走向数据空间中信息更丰富的区域。

因此，所提出的方法可以轻松集成到现有的CNN训练流程中，因为它轻量且适用于不同的架构。它特别适用于低分辨率医学影像数据集，因为在这些数据集中，增加模型深度可能不合理，而高效利用训练数据至关重要。所有程序、实验协议和实现细节均已公开，以确保可重复性并促进进一步研究¹¹¹https://github.com/AI-Lab-UMT/astar-batch-selection-CNN。

本文的贡献包括：一项受控消融实验表明，在相同的CNN架构和训练设置下，A*-BS在所有十二个MedMNIST 2D任务上均优于随机批次打乱；以及一项实时比较表明，在相同硬件上，使用A*-BS的轻量级CNN训练速度明显快于ResNet-18/-50。与来自[4](https://arxiv.org/html/2607.15745#bib.bib4)的ResNet结果的比较边界在IV-A节中明确讨论。

## II 相关工作

近年来，大量研究致力于提高深度学习模型（特别是卷积神经网络CNN）的优化和训练效率，因为训练大规模模型在计算上仍然昂贵且充满挑战。大量工作集中在课程学习和自定进度学习策略上，这些策略通过有意义的方式呈现训练样本来改善收敛性和稳定性，由Bengio等人[5](https://arxiv.org/html/2607.15745#bib.bib5)提出，后由Kumar等人[6](https://arxiv.org/html/2607.15745#bib.bib6)扩展。

密切相关的方法包括难例挖掘和损失感知学习，在训练中强调困难样本，例如在线难例挖掘[7](https://arxiv.org/html/2607.15745#bib.bib7)和Focal Loss[8](https://arxiv.org/html/2607.15745#bib.bib8)，旨在缓解类别不平衡并提高鲁棒性。在[9](https://arxiv.org/html/2607.15745#bib.bib9),10 (https://arxiv.org/html/2607.15745#bib.bib10)的工作中，通过重要性采样和选择性训练策略证明，并非所有样本都对梯度更新和整体模型改进做出同等贡献。在最近的损失感知采样方法中，这一点通过根据损失统计重塑采样分布得到了进一步细化。例如，高斯损失加权采样[11](https://arxiv.org/html/2607.15745#bib.bib11)在训练效率和鲁棒性上表现出改进。这些进展的原因可归因于对信息丰富样本的概率性偏好，以及减少平凡样本和极端损失样本的影响。所讨论的基于采样的策略主要侧重于在训练阶段调整单个样本的选择。

基于这一观察，最近的工作探索了动态数据选择、剪枝和优先级训练机制。实证分析表明，某些样本对泛化的影响始终更强，而其他样本随着训练进行可能变得冗余[12](https://arxiv.org/html/2607.15745#bib.bib12)。因此，有原则的数据剪枝和优先级学习框架被提出[13](https://arxiv.org/html/2607.15745#bib.bib13),14 (https://arxiv.org/html/2607.15745#bib.bib14),15 (https://arxiv.org/html/2607.15745#bib.bib15)，表明智能数据选择可以在不牺牲性能的情况下降低计算成本。类似地，基于核集和数据高效的训练框架，如DeepCore[16](https://arxiv.org/html/2607.15745#bib.bib16)，提供了选择代表性训练数据子集的系统工具，以降低计算成本同时保持竞争性能。与此同时，专注于优化的研究提出了自适应优化器和学习率调度技术，包括AdaGrad[17](https://arxiv.org/html/2607.15745#bib.bib17)、RMSProp[18](https://arxiv.org/html/2607.15745#bib.bib18)、Adam[19](https://arxiv.org/html/2607.15745#bib.bib19)和循环学习率[20](https://arxiv.org/html/2607.15745#bib.bib20)，以及对批量大小对泛化影响的分析[21](https://arxiv.org/html/2607.15745#bib.bib21)。虽然这些方法展现了显著的改进，但大多数在单个样本级别操作，依赖于预定义的课程，或通过重新加权或剪枝修改梯度更新机制。相比之下，本文提出的方法引入了一种轻量级的受A*启发的启发式方法，该方法在小批量级别操作，并将批调度框架化为一个启发式搜索问题。我们不对单个样本进行剪枝或重新加权，而是基于对难度和探索的平衡估计对整个批次进行优先级排序，从而保留原始数据分布，同时引导训练过程走向搜索空间中信息更丰富的区域。这一视角将基于搜索的决策策略与深度学习中的随机优化联系起来，与现有的数据为中心的加速方法相比，开辟了一个不同的方向。

为了明确与先前工作的界限，A*-BS在两个方面与经典的课程学习[5](https://arxiv.org/html/2607.15745#bib.bib5),6 (https://arxiv.org/html/2607.15745#bib.bib6)有所不同。首先，经典课程依赖于*外部*预定义的难度排序（离线定义，例如通过图像复杂度或教师模型），而A*-BS使用完全*内部*的、依赖于模型的难度信号，该信号在每个epoch根据当前网络状态重新计算。其次，课程学习通常先呈现简单样本，后呈现困难样本，而A*-BS在整个训练过程中优先考虑高损失批次，但通过重用惩罚g(B_i)主动抵消对任何单个批次的过度利用。与样本级重要性采样[9](https://arxiv.org/html/2607.15745#bib.bib9),10 (https://arxiv.org/html/2607.15745#bib.bib10)相比，A*-BS不通过每样本加权来修改梯度，因此保留了每个批次的原始经验分布，并且与未经修改的随机梯度下降兼容；它仅改变一个epoch内访问批次的*顺序*。

## III 方法

### III-A 数据集描述

为了进行本研究中的实验，使用了MedMNIST[4](https://arxiv.org/html/2607.15745#bib.bib4)数据集作为基准。该数据集包含标准化的医学图像集合，这有助于在不同机器学习模型之间进行可重复和公平的比较。MedMNIST包含多个源自不同医学成像模态和临床任务的子数据集。所有子数据集都统一在共同的数据格式和分辨率下。

尽管MedMNIST包含2D和3D数据集，但我们的工作仅专注于2D子数据集（或MedMNIST2D），因为它们更适合卷积神经网络（CNN）图像分类。具体来说，我们考虑了以下2D数据集：PathMNIST、DermaMNIST、ChestMNIST、OCTMNIST、PneumoniaMNIST、BreastMNIST、RetinaMNIST、BloodMNIST、TissueMNIST、OrganAMNIST、OrganSMNIST 和 OrganCMNIST（见图1）。

图1：MedMNIST基准的代表性可视化。对于每个子数据集，展示了训练集中的五个示例图像，概述了MedMNIST集合中涉及的异构成像模态、解剖结构和分类挑战。

所有通过官方MedMNIST包提供的数据集均标准化为28×28像素的空间分辨率。根据具体的子数据集，图像可以是灰度图（单通道）或RGB图（三通道）。此外，分类任务因数据集而异，范围从二分类到多分类问题。每个子数据集都提供了预定义的训练集、验证集和测试集划分，确保实验评估协议的一致性。

为了适应这些变化，所提出模型的输入和输出维度会根据每个子数据集关联的图像通道数和目标类别数自动调整，并且图像被归一化到[0,1]。

### III-B 模型架构

我们使用了一个轻量级的CNN架构，专门针对MedMNIST图像的低空间分辨率量身定制，并有意保持模型简单，以便减少过拟合并更清晰地分析我们提出的训练策略。

该网络由两个卷积块后接两个全连接层组成，最后一层用于分类。每个卷积块包括一个3×3卷积层（使用ReLU激活函数），后跟一个2×2最大池化操作进行空间下采样。卷积层的特征图数量增加，使网络能够捕捉逐渐抽象的视觉模式。

在卷积阶段之后，提取的特征图被展平，并通过一个带有ReLU激活函数的全连接层。最后一个全连接层根据任务使用softmax（或sigmoid）激活函数，用于多分类或多标签分类。该层的神经元数量根据相应子数据集的类别数进行调整。

网络的输入形状根据图像类型进行调整，灰度图使用28×28×1，RGB图使用28×28×3。总体而言，该架构可总结如下：

```
输入 (28 x 28 x C)
-> Conv2D (32 滤波器, 3 x 3) + ReLU
-> MaxPooling (2 x 2)
-> Conv2D (64 滤波器, 3 x 3) + ReLU
-> MaxPooling (2 x 2)
-> Flatten
-> Dense (128) + ReLU
-> Dense (N_classes) + Softmax(或 Sigmoid)
```

该架构的可训练参数总数约为2.25×10⁵（准确地说，单通道二类情况为224,002，三通道九类情况为225,481），仍比ResNet-18（约1.12×10⁷）和ResNet-50（约2.36×10⁷）小约两个数量级。

该架构在简洁性和表示能力之间取得了良好的平衡，使其非常适合低分辨率医学图像分类任务，同时避免不必要的架构复杂性。