EvoLP：面向实时边缘系统模型压缩的自进化延迟预测器

# EvoLP：面向实时边缘系统模型压缩的自演化延迟预测器
来源：https://arxiv.org/html/2607.09063
Shuo Huai, Hao Kong, Shiqing Li, Xiangzhong Luo, Ravi Subramaniam, Christian Makaya, Qian Lin and Weichen Liu© 2024 IEEE。允许个人使用该材料。如需用于其他任何当前或未来媒体中的任何目的，包括用于广告或促销目的的转载/再版、创建新的合集、转售或重新分发到服务器或列表、或重用本作品的任何受版权保护的组件，必须获得IEEE的许可。这是作者被接受的版本，发表于IEEE嵌入式系统快报，第16卷，第2期，第174-177页，2024年6月，DOI: 10.1109/LES.2023.3321599。S. Huai, H. Kong, S. Li, X. Luo, 和 W. Liu（通讯作者，[email protected]）工作于新加坡南洋理工大学计算机科学与工程学院；S. Huai 和 H. Kong 同样工作于新加坡南洋理工大学 HP-NTU 数字制造企业实验室；R. Subramaniam, C. Makaya, 和 Q. Lin 工作于美国加利福尼亚州帕洛阿尔托的惠普公司。本工作部分受RIE2020行业结盟基金 – 行业合作项目 (IAF-ICP) 资助，以及来自行业伙伴惠普公司的现金和实物贡献，通过HP-NTU数字制造企业实验室 (I1801E0028) 支持，并部分受新加坡教育部学术研究基金 Tier 2 (MOE2019-T2-1-071) 和新加坡南洋理工大学NAP计划支持。

###### 摘要

边缘设备越来越多地用于在嵌入式系统上部署深度学习应用。许多应用的实时性要求和边缘设备的有限资源促使了面向延迟的神经网络压缩。然而，在真实设备上测量延迟具有挑战性且成本高昂。因此，本文提出了一种新颖高效的框架，名为EvoLP，用于准确预测模型在边缘设备上的推理延迟。该预测器可以在网络压缩过程中进化，以实现更高的延迟预测精度。实验结果表明，EvoLP在三个边缘设备和四种模型变体上评估时，优于先前的最先进方法。此外，当集成到模型压缩框架中时，它能够有效地指导压缩过程，在满足严格延迟约束的同时提高模型精度。我们在 https://github.com/ntuliuteam/EvoLP 开源了EvoLP。

## I 引言

深度神经网络（DNN）已广泛部署在边缘设备上，以消除访问云服务器时数据机密性泄露和网络带宽不稳定的问题[1](https://arxiv.org/html/2607.09063#bib.bib1)。然而，当前模型为了提升精度而变得日益复杂，使其不适用于资源受限的边缘设备。神经架构搜索（NAS）可以为边缘设备设计定制化的DNN模型，但这耗时且需要大量工程努力[2](https://arxiv.org/html/2607.09063#bib.bib2)。模型压缩是提高DNN在边缘设备上效率的有前景方法。许多DNN应用，如虚拟/增强现实和自动驾驶，对响应延迟有严格要求，因此DNN的推理延迟应被视为模型压缩中的硬约束。

基于真实延迟的模型压缩能够更好地探索硬件特性，从而带来额外的好处[3](https://arxiv.org/html/2607.09063#bib.bib3)。然而，传统上，将延迟视为压缩目标需要与物理设备交互以获得真实延迟，这非常耗时。每次延迟测量过程可能耗时数分钟[4](https://arxiv.org/html/2607.09063#bib.bib4)，使得在大设计空间中成本过高。一些方法被提出以避免测量延迟的高成本，包括使用查找表（LUT）[4](https://arxiv.org/html/2607.09063#bib.bib4), [3](https://arxiv.org/html/2607.09063#bib.bib3)或硬件模拟器[5](https://arxiv.org/html/2607.09063#bib.bib5), [6](https://arxiv.org/html/2607.09063#bib.bib6)来预测延迟。然而，LUT无法预测未记录在表中的新模型的延迟；由于现有大多数硬件的不透明性，通过分析设备资源和调度算法构建硬件模拟器也很困难。因此，LUT和硬件模拟器不适合各种现有边缘设备和模型压缩。

近来，一些基于学习/回归的方法[7](https://arxiv.org/html/2607.09063#bib.bib7), [8](https://arxiv.org/html/2607.09063#bib.bib8)被提出用于估计模型在不同设备上的推理延迟。它们首先对部分模型层进行采样并在设备上测量以获得精确延迟，创建数据集。然后，这些方法使用机器学习或回归分析技术从数据集中推导模式，以预测未见模型的延迟。然而，采样和测量仍然成本高昂，对于nn-Meter[7](https://arxiv.org/html/2607.09063#bib.bib7)可能需要长达4.4天。此外，与NAS不同，在模型压缩过程中，每层的输入通道和输出通道数量会连续变化，因此搜索空间更加庞大，使得这些方法难以承受。

为了解决上述问题，我们提出了一种新颖的框架，利用多层感知机（MLP）神经网络[9](https://arxiv.org/html/2607.09063#bib.bib9)和自进化方案，准确预测模型在目标硬件上的推理延迟。具体来说，本文的主要贡献总结如下：

1. 1) 我们提出了一种新颖高效的延迟预测器，名为EvoLP，用于准确估计DNN模型在不同边缘设备上的推理延迟。
2. 2) 我们将搜索空间缩小到仅包含待压缩模型，并提出了自动分析该模型以生成少量样本的方法，大大提高了构建效率。
3. 3) 我们为预测器在模型压缩期间提出了一个进化方案，使其能够在不断压缩过程的情况下进化以获得更高精度。
4. 4) 我们在三个边缘设备上评估了EvoLP，并表明与现有方法相比，它实现了更高的预测精度。我们还展示了EvoLP在模型压缩技术中的优势。

## II 背景与相关工作

复杂模型需要压缩才能在低功耗、资源受限的边缘设备上高效推理[1](https://arxiv.org/html/2607.09063#bib.bib1)。最近的研究[10](https://arxiv.org/html/2607.09063#bib.bib10)提出通过一次训练过程来压缩模型，以减少训练开销。当用于实时边缘系统时，确保压缩后的模型满足系统延迟约束至关重要。同时，如第I节（https://arxiv.org/html/2607.09063#S1）所述，昂贵的设备上延迟测量必须被延迟预测器取代。

基于LUT[4](https://arxiv.org/html/2607.09063#bib.bib4)和硬件模拟器[5](https://arxiv.org/html/2607.09063#bib.bib5)的延迟预测器不适用于压缩各种实时边缘系统中的模型。此外，基于浮点运算次数（FLOPs）的预测器通常高度不准确，因为它们没有考虑各种操作的运行时优化[7](https://arxiv.org/html/2607.09063#bib.bib7)。同时，最近的预测器，如nn-Meter[7](https://arxiv.org/html/2607.09063#bib.bib7)和TALM[8](https://arxiv.org/html/2607.09063#bib.bib8)，可以预测内核级延迟，同时考虑了运行时不同操作的一些优化。然而，这些方法需要大量采样来训练预测器，尤其是用于模型压缩时。

DNN模型通常由有限的操作组成，例如卷积、批量归一化、激活函数、乘法等。然而，每个操作的参数配置范围是无限的[11](https://arxiv.org/html/2607.09063#bib.bib11)。因此，即使仅预测每个操作的延迟，由于涉及广泛的搜索空间，也构成了重大挑战。具体来说，考虑到不同模型所有层中常用的卷积配置范围，包括输入尺寸（1-299）、输入通道（1-1024）、内核大小（1-7）、内核数量（1-1024）、步长（1-3）和填充（0-1），搜索空间约为1.3×10^10。因此，从如此巨大的搜索空间中创建训练集极具挑战性，并且当面对未见配置时，预测性能通常较差。因此，在本文中，我们提出仅考虑正在压缩的模型来生成少量样本进行测量，从而加速构建过程。此外，所提出的预测器可以在压缩过程中进化以获得更高精度，尤其是在延迟约束附近。

## III 自演化延迟预测器

传统的延迟预测器通过从整个搜索空间中采样并学习其模式来估计模型的延迟，但它们存在两个主要缺点，尤其是在用于模型压缩时。首先，搜索空间巨大，必须收集大量样本，导致在设备上测量这些样本的时间成本过高。同时，大搜索空间也使得学习延迟模式面临重大挑战，并降低了精度。其次，虽然一些现有方法考虑了模型运行时优化，但仍有一些运行时特性未被考虑。例如，层间数据传输时间、输入输出时间、分支的并行处理等。针对这两个缺点，本文提出了一种模型特定的自演化延迟预测器，以高效准确地预测模型压缩期间模型在设备上的延迟。

我们的延迟预测器包括三个过程：模型采样（左）、延迟预测器生成（右上）和延迟预测器演化（右下），如图1（https://arxiv.org/html/2607.09063#S3.F1）所示。前两个过程用于构建预测器，并将搜索空间缩小到正在压缩的模型，从而提高延迟预测器的构建效率和预测精度。最后一个过程用于演化方案，可以有效学习设备上各种模型运行时特性，从而准确预测不同压缩程度的模型。我们将在以下章节中详细说明每个阶段，并演示我们的延迟预测器在模型压缩中的使用。

参考图注：图1：我们的自演化延迟预测器概览，包括模型采样（左）、延迟预测器生成（右上）和延迟预测器演化（右下）。圆圈中的相同数字表示可以并行处理的过程。CL：常量层延迟；EM：演化矩阵。第一阶段是模型采样，我们只需要知道要压缩的模型架构，无需训练。然后根据整个压缩过程中延迟的变化，将层分为可变层和常量层。具体来说，如果某层在压缩过程中的延迟变化很小，则该层被识别为常量层；否则，被归类为可变层。对于常量层，直接在设备上进行测量并记录延迟。对于可变层，我们将根据每层的配置范围进行采样。由于模型只包含有限的层，采样非常高效，仅需几毫秒。采样后，我们构建一个层池，其中包含数千个具有不同操作（例如卷积、池化）和配置大小的单层模型，用于训练延迟预测器。单层的延迟通常在几毫秒范围内，因此测量池中所有模型的过程在几小时内完成。

参考图注：图2：模型压缩过程中的延迟预测，包括其演化。随后，我们通过训练一个轻量级的三层MLP神经网络[9](https://arxiv.org/html/2607.09063#bib.bib9), [10](https://arxiv.org/html/2607.09063#bib.bib10)来生成单层的延迟预测器。该网络的前向传播如公式（1）（https://arxiv.org/html/2607.09063#S3.E1）所示，其中x表示输入向量，W^L表示权重矩阵，L是层索引，σ^L是层L的激活函数。由于该网络简单，只需数百次乘法和加法运算即可获得预测延迟。MLP网络的更新方案也很简单，使得训练过程高效。由于MLP可以学习训练数据中的模式[9](https://arxiv.org/html/2607.09063#bib.bib9)，训练好的MLP可以通过提供配置来预测未见层的延迟。因此，我们得到了一个逐层延迟预测器（LWLP）。

g(x) = σ^2(W^2 σ^1(W^1 σ^0(W^0 x))) (1)

P = Σ_{i=1}^n ReLU(T_i + Σ_{m=0}^k a_im * T_i^m) (2)

为了预测压缩后整个模型的总延迟，我们首先获取所有常量层（CL）的真实延迟。然后，对于每个可变层，将其当前配置传递给LWLP以获得其预测延迟。至此，我们获得了当前压缩下所有层的延迟，记为T_n, (n=1,2,...)。为了进一步提高模型整体延迟预测的精度，采用了演化矩阵（EM）。EM是公式（2）（https://arxiv.org/html/2607.09063#S3.E2）中的所有a_im，它们是可训练参数，用于使整体预测延迟（P）更接近整体真实延迟（R）。这种近似类似于泰勒展开，用于模拟边缘设备的运行时特性。从我们的实验来看，在k=1时，这种近似已经足够准确。同时，使用ReLU激活层来预测分支层的并行执行。

为了更清晰地理解我们延迟预测器的使用和演化，图2（https://arxiv.org/html/2607.09063#S3.F2）描述了集成我们延迟预测器的模型压缩过程。如前所述，一次性训练的压缩更有前景，并以软压缩的方式实现[10](https://arxiv.org/html/2607.09063#bib.bib10)。具体来说，不重要的权重被更新为0，而不是直接从模型中移除。这样做的目的是这些归零的权重不会被过早地消除，可能在未来的训练过程中变得重要。图2（https://arxiv.org/html/2607.09063#S3.F2）按时间顺序说明了压缩训练过程，斜矩形表示权重，不同颜色表示不同层。重要性因子（即a1, a2, ..., b5,