边缘高效Transformer用于端到端射频频谱监测

# 面向端到端射频频谱监控的边缘高效Transformer
来源：https://arxiv.org/html/2607.18285
Zhifan Song, Haralampos\-G\. Stratigopoulos, 和 Hassan Aboushady 索邦大学, CNRS, LIP6, 巴黎, 法国  
本研究由欧盟地平线欧洲研究与创新计划下的Chips JU项目Resilient Trust资助，资助协议编号101112282。

###### 摘要

我们提出*E\-SpecFormer*（边缘频谱监控Transformer），用于端到端自动调制识别和隐蔽信道（CC）识别。我们引入*LiTAN*（线性双曲正切注意力网络），这是一种无需Softmax和LayerNorm的注意力机制，在RF任务中降低复杂度的同时提升准确率。E\-SpecFormer提供四种可扩展变体（Nano， Small， Medium， Large）以适应不同的硬件约束。使用RadioML2018数据集进行调制识别，Nano变体在信噪比（SNR）>0 dB时达到86.5%的平均准确率；在基于硬件木马（HT）的隐蔽信道数据集上达到94.2%的准确率，两者均使用少于10k参数，并且在FPGA/CPU协同执行下每帧处理速度达92μs，以极小成本超越了最先进的边缘模型。这些结果确立了E\-SpecFormer作为物联网（IoT）设备上实时频谱智能的边缘高效解决方案。GitHub代码仓库链接：https://github.com/zsniko/E-SpecFormer。

## I 引言

射频（RF）频谱监控对于现代无线通信系统至关重要。本文聚焦于射频频谱监控的两个具体功能：自动调制识别（AMR）——在5G/6G和物联网扩展中，对于优化频谱利用、应对频段占用不均[1 (https://arxiv.org/html/2607.18285#bib.bib4)]至关重要；以及隐蔽信道（CC）检测——即恶意信号巧妙窃取敏感数据[3 (https://arxiv.org/html/2607.18285#bib.bib3)]，这对防御和监视系统至关重要。尽管AMR和CC检测目标不同，但它们在共同输入上运行：RF接收机中的模数转换器（ADC）对接收到的RF信号进行下变频和数字化后产生的I/Q样本，提供了RF信号信息内容的数字表示。

随着现代通信系统日益复杂，传统的基于似然和手工特征的方法计算量大或准确率低；深度学习展现出强大潜力，目前在AMR方法中占主导地位[19 (https://arxiv.org/html/2607.18285#bib.bib2)]。然而，基于云的AI推理并不适用：将原始RF数据传输到远程服务器会引入显著延迟，增加通信开销，并引发数据隐私问题。现有的基于AI的AMR方法包括卷积神经网络（CNN）[1 (https://arxiv.org/html/2607.18285#bib.bib4)，12 (https://arxiv.org/html/2607.18285#bib.bib1)]、长短期记忆网络（LSTM）[13 (https://arxiv.org/html/2607.18285#bib.bib12)]、脉冲神经网络（SNN）[5 (https://arxiv.org/html/2607.18285#bib.bib5)]、混合CNN–LSTM[10 (https://arxiv.org/html/2607.18285#bib.bib6)]和CNN–GRU[11 (https://arxiv.org/html/2607.18285#bib.bib7)]模型，以及最近的Transformer[16 (https://arxiv.org/html/2607.18285#bib.bib16)]。尽管这些模型准确，但通常包含10万至2000万参数，Transformer变体还受限于自注意力的二次复杂度[15 (https://arxiv.org/html/2607.18285#bib.bib23)]，使其无法用于边缘设备。轻量级替代方案如Attention\-CNN[14 (https://arxiv.org/html/2607.18285#bib.bib10)]和LSTM\-Autoencoder[8 (https://arxiv.org/html/2607.18285#bib.bib15)]将参数数量降至2万以下，但通常只覆盖RadioML2018数据集[12 (https://arxiv.org/html/2607.18285#bib.bib1)]中24种实际空中调制方案中的11种。许多先前的工作也依赖于输入预处理（例如幅度/相位归一化、星座图转换），这需要缓存完整的I/Q帧并增加延迟。注意力可以降低到线性复杂度，从而实现长序列的更快推理[9 (https://arxiv.org/html/2607.18285#bib.bib20)]。在这项工作中，我们专注于直接处理原始I/Q样本的端到端模型，用于实时频谱监控。

基于硬件木马（HT）的隐蔽信道数据集[3 (https://arxiv.org/html/2607.18285#bib.bib3)]捕获了不同SNR和信道损伤下的实际CC示例。尽管其重要性，但尚未有硬件加速器被提出来解决此任务。

尽管高效的Transformer架构已在其他领域得到充分探索[4 (https://arxiv.org/html/2607.18285#bib.bib37)，7 (https://arxiv.org/html/2607.18285#bib.bib36)]，但据我们所知，目前缺乏针对RF信号识别的硬件感知设计；现有的基于Transformer的RF方法需要为不同任务重新综合硬件，并且表现出相对较高的延迟[16 (https://arxiv.org/html/2607.18285#bib.bib16)]。

参见标题说明

图1：(a) 标准Transformer编码器，具有二次复杂度的Softmax注意力、LayerNorm和前馈网络（FFN），扩展比r=4。 (b) 提出的LT（LiTAN + T-FFN）模块，使用DTanh预归一化、线性化注意力和Tanh-FFN，其中Nano/Small使用r=1（最小化占地面积，适用于极端边缘计算），Medium/Large使用r=2（扩展容量，类似于MobileViT\-XXS）。 (c) E\-SpecFormer，由一个Conv\-Tokenizer后跟M个堆叠的LT模块组成，对于N、S、M和L变体，缩放深度M∈{1,2,4,6}。 d_k = d_model = d_v = 32（仅L为48）。

在本文中，我们做出以下贡献：

- • 我们提出*E\-SpecFormer*，一种面向端到端AMR和CC分类的边缘高效Transformer家族。它是一个混合网络，集成了卷积分词器与*LiTAN*（线性双曲正切注意力网络），这是一种原生硬件友好、无需Softmax和LayerNorm的注意力机制，将复杂度降低到线性，同时保持或提高分类准确率。
- • *E\-SpecFormer*提供四种尺寸：Nano（N）、Small（S）、Medium（M）、Large（L）以适应硬件，便于从IoT设备到高性能边缘加速器的部署。
- • 用于*E\-SpecFormer*的流式推理FPGA加速器，支持两种RF信号识别任务的任意输入序列长度，无需重新综合。
- • E\-SpecFormer在准确率与计算复杂度的帕累托曲线上取得突破，在边缘AMR和CC检测上优于先前技术。

## II 方法论

### II\-A 提出的AI模型

设X∈R^{2×L_T}表示输入I/Q序列，令牌长度L_T，其中每个I/Q对由RF前端采样。与自然语言处理任务（令牌是高维嵌入）不同，这里的每个I/Q令牌只有2维，而输入序列很长（RadioML2018为L_T=1024，HT\-CC为640）。除了二次注意力复杂度外，Softmax和LayerNorm都是Transformer中主要的吞吐量和延迟瓶颈，给边缘设备带来显著开销。所提出模型的架构如图1 (https://arxiv.org/html/2607.18285#S1.F1)所示。

#### Conv\-Tokenizer。

为了解决低令牌维度和长序列长度这两个问题，我们引入了一个卷积分词器（*ConvT*），其内核大小为(2,k)，步长为(1,s)，沿着时间维度跨越I/Q轴。

N和S变体采用非重叠补丁（s=k）以提高处理效率，而M和L变体采用部分重叠补丁（s=k/2）以丰富表示。每个补丁随后投影到d_model维的令牌嵌入：

X∈R^{2×L_T} → Conv(2,k,s) T∈R^{N_T×d_model}， N_T = floor((L_T - k)/s) + 1.

此操作在数学上等同于展平补丁的学习投影，产生具有可控粒度和效率的高维令牌。

#### LiTAN

我们引入LiTAN，整合：(i) 一个轻量级的*动态双曲正切*激活作为*预归一化*层，替代LayerNorm，以及 (ii) 线性化注意力。

#### 预归一化

传统Transformer依赖于需要均值-方差统计的后归一化，这在边缘设备上成本高昂。最近的研究表明，显式归一化并非总是必要[20 (https://arxiv.org/html/2607.18285#bib.bib21)]。我们利用轻量级的*DTanh*作为硬件友好的替代方案，提供有界激活和类似tanh的缩放，无需均值-方差统计：

T~ = σ_{α,ω,β}(T) = tanh(αT) ⊙ ω + β，

其中α∈R控制动态范围，(ω,β)是跨序列广播的逐通道仿射参数。这种非扩张映射稳定了尺度，同时避免了LayerNorm所需的规约操作，并实现了基于LUT的量化，使其硬件友好。

#### 线性化注意力。

给定N_T个令牌，嵌入维度d_model，我们计算查询、键和值矩阵：Q = T~W_Q， K = T~W_K， V = T~W_V，

其中权重W_Q， W_K， W_V∈R^{d_model×d_x}，通常d_x = d_model。

经典的自注意力机制[15 (https://arxiv.org/html/2607.18285#bib.bib23)]定义为：

Attn(Q,K,V) = Softmax( QK^⊤ / √d_k ) V.

形成相似度矩阵QK^⊤∈R^{N_T×N_T}需要O(N_T^2 d_k)次运算。与V相乘后总复杂度为O(N_T^2 d_k)，这在N_T上是二次的。

线性化注意力定义为：

LinAttn(Q,K,V) = Q~ (K~^⊤ V).

其中Q~ = φ(Q)，K~ = φ(K)，φ(·)表示l_1范数核。计算分两步进行：

S = K~^⊤ V ∈ R^{d_k×d_v}，
LinAttn(Q,S) = Q~S ∈ R^{N_T×d_v}。

两步均花费O(N_T d_k d_v)，因此相对于序列长度N_T的整体复杂度为O(N_T d_k d_v)，呈线性。

对Q和K的l_1范数缩放为RF数据提供了关键的结构性直觉。由于I/Q样本具有有界能量和稀疏频谱结构，l_1提供了稳定的幅度度量，无需平方或平方根运算。直观上，这提高了对信道损伤的鲁棒性，而无需昂贵的归一化。此外，l_1消除了昂贵的指数和余弦运算（≈4倍MAC），并与线性注意力自然集成，通过相关的KV累积和专用硬件支持流式推理。

单头LiTAN模块表示为：

LiTAN(T) = T + LinAttn(T~W_Q, T~W_K, T~W_V) W_o，

在实践中，我们采用多头LiTAN（H=8）（图2 (https://arxiv.org/html/2607.18285#S2.F2)(a)），其中拼接互补头丰富了表示的多样性。最终，E\-SpecFormer将复杂度从O(N_T^2)降低到O(N_T)，使得在边缘设备上处理长序列I/Q成为可能。

参见标题说明

图2：提出的LiTAN协处理器。我们提出了一种“时分复用”架构，利用每个令牌在头间的空间并行性，使用专用计算单元（H_1...H_n）处理各自的向量段。在时间维度上，硬件采用流水线：单个输入端口被时分复用（不同颜色）以逐周期流式传输令牌（T_1→, T_2→…），使得同一硬件可以处理任意序列长度。

表I：RadioML2018和HT\-CC上的模型比较。SNR > 0 dB的平均准确率。所有模型均在NVIDIA A100上训练，推理延迟均在ARM Cortex\-A76 CPU（典型IoT/嵌入式）上使用ONNX Runtime评估。*表示量化。

### II\-B 提出的硬件加速器

ConvT IP以流式模式实现，使用固定权重内核直接处理来自ADC的I/Q样本，无需缓冲，遵循[14 (https://arxiv.org/html/2607.18285#bib.bib10)]的风格。

为LiTAN提出的硬件加速器架构利用了LinAttn的代数性质，将硬件资源与序列长度解耦。如图2 (https://arxiv.org/html/2607.18285#S2.F2)所示，该设计采用双并行策略：每个令牌处理步骤内的细粒度空间并行性，以及跨令牌流的粗粒度时间流水线。

为了最大化吞吐量，单个时间步t的计算在空间上展开。输入嵌入向量T_t被广播到H个独立头计算单元的并行阵列，对应于多头注意力，其中输入被分割成d_model/H段。在每个单元内部，加速器并发执行投影和状态更新操作。输入段被投影为查询(q~)、键(k~)和值(v)向量，l_1范数的优点在于可以通过加法树和倒数近似在每个令牌上即时计算。KV操作使用并行乘法器组完成。关键在于，循环状态更新S_t ← S_{t-1} + k~^⊤ v和补偿向量ΔT_t ← S_t q~是以严格局部数据流方式计算的。我们的设计通过相似性核分解和压缩为循环状态矩阵来执行流式推理：

S_t = Σ_{i=1}^t φ(k_i)^⊤ v_i

片上KV状态相对于序列长度保持不变，随着T增加，内存占用固定。这与经典注意力形成鲜明对比，后者需要存储完整历史并计算O(T^2)注意力矩阵，造成带宽和存储瓶颈，通常主导Transformer硬件。虽然像FlashAttention这样的优化方案通过SRAM分片缓解了这些瓶颈，但我们的设计完全消除了二次内存依赖，在不需序列分块的情况下利用了局部性。

物理单输入端口被时分复用；令牌串行到达，流经整个架构。