用于边缘AI推理加速的通用优化引擎（GOE）

# 面向边缘AI推理加速的通用优化引擎（GOE）
来源：https://arxiv.org/html/2608.28652
Venkat R. DasariDEVCOM陆军研究实验室马里兰州阿伯丁试验场，美国Jakob A. AdamsDEVCOM陆军研究实验室马里兰州阿伯丁试验场，美国 Vinod K. MishraDEVCOM陆军研究实验室马里兰州阿伯丁试验场，美国Brian Jalaian西佛罗里达大学佛罗里达州彭萨科拉，美国

2026年8月19日

###### 摘要

人工智能（AI）模型在各领域展现出卓越能力，但其广泛部署受到高昂计算成本的制约，尤其在资源受限设备上。本文探讨了多种AI模型优化技术、算法和抽象的理论基础，讨论其在降低计算复杂度、内存占用、延迟和功耗方面的潜力。此外，我们提出了一种与硬件（HW）和模型无关的综合通用优化架构，旨在整合这些技术以提升效率。本研究强调了此类通用优化系统在战术环境中资源受限异构硬件上部署模型的关键作用。作为具体示例，我们展示了经GOE压缩的语言模型可在无GPU的边缘CPU上部署运行，且压缩方法（而非仅标称位宽）决定了任务精度在部署后能否得以保持。

关键词：AI模型，优化，大语言模型（LLMs），蒸馏，量化，剪枝

## 1 引言

近期AI模型的发展已变革计算机视觉、自主导航、军事应用及医疗保健等多个领域。然而，AI模型，特别是基于Transformer的大语言模型（LLMs），计算复杂度高，难以部署于边缘计算平台\[1 (https://arxiv.org/html/2608.28652#bib.bib1)\]。战术边缘环境具有动态性、异构性和资源约束性。实时感知与参考对战术环境中关键任务的决策支持至关重要\[2 (https://arxiv.org/html/2608.28652#bib.bib2)\]。

创建一种通用优化方法以探索适应模型多样性、硬件异构性及网络条件变化等多样化问题域的新权衡方案，并非易事。跨平台兼容性问题，如专用硬件组件、硬件特定库和AI框架、以及硬件特定优化技术，对通用方法的开发构成挑战\[3 (https://arxiv.org/html/2608.28652#bib.bib3)\]。尽管AI模型优化研究已取得显著进展，但由于问题空间的复杂性，创建全面的优化解决方案仍是一项开放挑战。

已有多种方法，如模型压缩、剪枝和高效神经架构搜索，被提出以降低计算复杂度和对更多资源的需求，使其能够适应资源有限的边缘计算平台\[4 (https://arxiv.org/html/2608.28652#bib.bib4)\]。虽然这些方法在模型压缩和推理加速方面有效，但其中许多会因精度衰减而削弱其作用。因此，需要能够保持优化后模型精度的定制优化方法。这些优化方法的另一缺点在于其仅在狭窄情境（如特定模型或平台）下有效，泛化能力不足。

### 1.1 边缘AI的挑战

多种因素影响战术边缘AI模型的性能。资源约束和动态特性对部署于地面和空中自主系统的AI模型性能产生不利影响。其中还包含具有不同程度计算和内存资源以及可变能源依赖的异构计算平台。

## 2 相关研究

受人脑启发的神经网络模型广泛应用于包括战术环境在内的多个领域。其泛化能力加速了它们的应用。然而，由于其计算复杂度高、资源需求大，若不针对目标硬件进行优化，其在资源有限硬件上的部署受限。近年来，卷积神经网络（CNN）和LLM优化的进展聚焦于提高效率、降低计算成本及提升可扩展性的技术。此处描述一些近期关于这些问题的工作。Bouzar-Benlabiod等人（2021）广泛概述了深度神经网络架构优化技术，如权重剪枝、知识蒸馏和网络量化，所有这些技术均旨在减小模型尺寸和复杂度，同时保持可接受的精度\[5 (https://arxiv.org/html/2608.28652#bib.bib5)\]。Busia等人（2022）介绍了一个目标感知的神经架构搜索工具，可自动组合目标感知的CNN优化\[6 (https://arxiv.org/html/2608.28652#bib.bib6)\]。Someki等人（2022）提出了ESPnet-ONNX，这是一个能使在研究环境中训练的深度学习模型部署于各种硬件平台上的框架\[7 (https://arxiv.org/html/2608.28652#bib.bib7)\]。它解决了研究框架与生产环境之间的跨兼容性挑战，允许研究人员开发易于集成的模型。Aramdhan等人（2023）研究了用于优化道路检测任务中深度神经网络的剪枝方法\[8 (https://arxiv.org/html/2608.28652#bib.bib8)\]。他们的方法对于在资源有限设备（如需要实时道路检测的自动驾驶车辆）上部署深度学习模型尤为有益。Zhang等人（2019）提出了一种深度强化学习（DRL）模型的压缩技术，通过移除神经网络内的冗余连接和权重，从而减小模型尺寸\[9 (https://arxiv.org/html/2608.28652#bib.bib9)\]。

基于Transformer的LLMs比CNNs计算复杂度更高。许多用于CNNs的模型优化技术也可用于LLM的推理加速优化。然而，也已开发出许多专门针对LLMs的新优化技术。Elouargui等人（2023）全面概述了使Transformer更高效的技术\[10 (https://arxiv.org/html/2608.28652#bib.bib10)\]。本综述探讨了其中许多用于降低其复杂度的技术，例如稀疏注意力（聚焦于相关元素的子集）和低秩近似。Liu等人（2022）提出了动态稀疏注意力，可动态确定注意力机制内的稀疏度。与标准注意力相比，它在保持精度的同时实现了显著的加速\[11 (https://arxiv.org/html/2608.28652#bib.bib11)\]。注意力机制是Transformer和LLM架构的关键部分，导致大量计算。传统注意力机制具有二次复杂度，其计算成本随输入大小呈二次增长。Zhuoran等人（2021）引入了一种具有线性复杂度的新型注意力机制，从而带来显著的效率提升，尤其适用于大型Transformer\[12 (https://arxiv.org/html/2608.28652#bib.bib12)\]。存在许多最先进的优化方法，各自在特定情境下表现出色。然而，一种能够跨异构AI模型和硬件架构扩展的领域无关统一优化方法仍有待开发。一种能导致目标平台上各种模型可预测改进的一致方法，将标志着项目的成功。

## 3 问题形式化

一个与模型架构和目标硬件无关的通用AI模型优化方法被数学化表达，集成了推理时间、内存使用、能耗和计算功耗的详细约束。该框架为在资源受限环境中高效部署神经网络模型提供了一种稳健的方法。我们将此问题视为针对给定目标设备，在精度、延迟、内存和能耗预算（本文中统称为“调节旋钮”）上的约束优化问题。问题形式化中使用的变量列表见表1 (https://arxiv.org/html/2608.28652#S3.T1)。

我们问题的单目标形式化如下：

maxm,q,p,h\displaystyle\max\_{m,q,p,h}\operatorname{Performance}(m,q,p,h)\displaystyle\mathsf{Performance}(m,q,p,h)(3.1)s.t.\displaystyle\text{s.t.}g(m,q,p,h)\leq\mathsf{InferenceTime}\_{\text{budget}},\displaystyle g(m,q,p,h)\leq\mathsf{InferenceTime}\_{\text{budget}},hm(m,q,p,h)\leq\mathsf{Memory}\_{\text{budget}},\displaystyle h\_m(m,q,p,h)\leq\mathsf{Memory}\_{\text{budget}},i(m,q,p,h)\leq\mathsf{Energy}\_{\text{budget}}.\displaystyle i(m,q,p,h)\leq\mathsf{Energy}\_{\text{budget}}\.
对于多目标搜索，我们在相同预算约束下优化精度和压缩率：

maxm,q,p,h\displaystyle\max\_{m,q,p,h}\bigl\{\operatorname{Performance}(m,q,p,h),\;\operatorname{CompressionRate}(m,q,p,h)\bigr\}\displaystyle\bigl\{\mathsf{Performance}(m,q,p,h),\;\mathsf{CompressionRate}(m,q,p,h)\bigr\}(3.2)s.t.\displaystyle\text{s.t.}g(m,q,p,h)\leq\mathsf{InferenceTime}\_{\text{budget}},\displaystyle g(m,q,p,h)\leq\mathsf{InferenceTime}\_{\text{budget}},i(m,q,p,h)\leq\mathsf{Energy}\_{\text{budget}}.\displaystyle i(m,q,p,h)\leq\mathsf{Energy}\_{\text{budget}}\.
为处理大型模型的可解性，我们常将搜索限制在较小的调节旋钮集合内：

maxm,ρ,q,δ,η\displaystyle\max\_{m,\rho,q,\delta,\eta}\operatorname{Performance}(m,\rho,q,\delta,\eta)\displaystyle\mathsf{Performance}(m,\rho,q,\delta,\eta)(3.3)s.t.\displaystyle\text{s.t.}0\leq\rho\leq\rho\_{\max},\displaystyle 0\leq\rho\leq\rho\_{\max},q\in\{4,8,16\},\displaystyle q\in\{4,8,16\},\delta\in\{0,1\},\displaystyle\delta\in\{0,1\},\eta\in\{\eta\_1,\ldots,\eta\_K\}.\displaystyle\eta\in\{\eta\_1,\ldots,\eta\_K\}\.
表1：公式3.1 (https://arxiv.org/html/2608.28652#S3.E1)、3.2 (https://arxiv.org/html/2608.28652#S3.E2)和3.3 (https://arxiv.org/html/2608.28652#S3.E3)中使用的符号和决策变量。
## 4 技术方法

模型优化的目标是降低计算复杂度、模型尺寸，并在资源受限的边缘计算平台上加速模型推理速度。我们结合模型压缩方法和编译器，构建了一个自动化的模型优化流水线。我们调研了当前AI模型优化方法在压缩模型和在资源受限边缘平台上加速推理方面的进展。我们借鉴了最先进的最佳优化方法，并对其进行了定制和扩展，以适应由Web UI驱动的端到端自动化优化流水线。GOE流水线的概览见图1 (https://arxiv.org/html/2608.28652#S4.F1)。通过基于现代优化方法构建并将其塑造成一个专注的端到端流水线，GOE框架在无需持续手动调优的情况下提供了强劲性能。它减少了人工努力，保持了计算效率，并能在不同环境中平滑扩展，使其成为复杂优化工作的可靠选择。接下来的小节，我们将描述自动化通用AI模型优化引擎的核心模块和库。

GOE引擎CNNs与LLMs模型分析器模型压缩NAS⋅\cdot张量分解⋅\cdot结构化剪枝知识蒸馏⋅\cdot新兴技术面向硬件的压缩量化⋅\cdot编译器（TVM、TensorRT、OpenVINO）目标边缘设备图1：GOE优化引擎：输入模型由模型分析器分析，由架构感知算子压缩，并编译为硬件目标，以便在边缘设备上部署。### 4.1 模型分析器

我们流水线的入口是模型分析器。此组件对输入模型进行表征以确定模型类型，从而选择适当的优化方法应用其上。模型分析器还生成模型的分析报告，详细信息包括层数、参数数量、基础稀疏度以及数据类型等。根据模型分析器生成并输入流水线的信息，模型被路由至一个或多个模型压缩模块。

### 4.2 剪枝与量化

剪枝和量化是已成熟的AI模型压缩优化技术，常能在资源受限平台上显著加速推理。然而，剪枝对模型架构敏感；它可能对精度产生负面影响，且通常需要微调以恢复性能。量化通过降低精度来减少计算复杂度和模型尺寸，但可能引入量化误差从而降低精度。因此，需要一个强大的精度恢复策略，且目标硬件通常决定了模型可被有效量化的具体精度级别。

#### 4.2.1 最优脑压缩

我们采用了最优脑压缩（OBC），这是一个与CNN兼容的训练后二阶剪枝与量化框架\[13 (https://arxiv.org/html/2608.28652#bib.bib13)\]。它支持非结构化、分块和N:M剪枝、n位量化、优化后调优以及优化后统计校正。OBC的工作原理是将问题分解为层内子问题，并逐一分析待移除的权重。调整剩余权重以最小化层的损失。最优脑压缩剪枝算法ExactOBS是最优脑外科（OBS）框架的逐层实例化。OBC为每层中指定被剪枝的k个权重建立一个剪枝掩码。

#### 4.2.2 Torch-Pruning

Torch-Pruning是一种结构化剪枝方法，它首先分析模型以确定层间依赖关系，所用方法称为DepGraph。使用DepGraph确保任何被结构化剪枝的层，其依赖层也将被剪枝。这确保了模型的内聚性和修改层间的张量维度对齐。

#### 4.2.3 TorchAO

TorchAO是PyTorch提供的优化框架，包含训练后量化模型的能力\[14 (https://arxiv.org/html/2608.28652#bib.bib14)\]。这通过一次性方法完成，无需校准或微调。

### 4.3 神经架构搜索

一个全面的神经架构搜索策略包括使用超网络（supernets）的神经架构搜索（NAS）和自蒸馏\[15 (https://arxiv.org/html/2608.28652#bib.bib15),16 (https://arxiv.org/html/2608.28652#bib.bib16)\]。它是我们实现通用AI模型优化和高效发现最优架构方法的核心。对于CNNs，我们调整了使用超网络的NAS以高效探索架构空间。这通过训练一个单次的大型超网络来实现，该超网络隐式包含多个子网络（子网络）。与传统的NAS方法相比，这显著降低了计算成本，避免了为满足每个候选架构的性能要求而在采样后训练每个架构的需要。

一次性神经架构搜索：为最大化我们NAS方法的有效性，我们遵循Muñoz等人\[17 (https://arxiv.org/html/2608.28652#bib.bib17)\]并提供了一个渐进式收缩\[18 (https://arxiv.org/html/2608.28652#bib.bib18)\]训练模块，以将任何基于CNN的模型转换为权重共享超网络。我们