Dualformer：针对复数盲通信信号分析的高效特征提取器

# Dualformer：面向复值盲通信信号分析的高效特征提取器
来源：https://arxiv.org/html/2606.31352  
Yurui Zhao, Xiang Wang, Jingreng Lei, Wanlong Zhang, Yik-Chung Wu, , Zhitao Huang  
Yurui Zhao, Xiang Wang, Wanlong Zhang, and Zhitao Huang are with College of Electronic Science and Technology, National University of Defense Technology, Changsha 410073, China.  
Jingreng Lei and Yik-Chung Wu are with the Department of Electrical and Computer Engineering, The University of Hong Kong (E-mail: [email protected]; [email protected]).  
Corresponding author: Xiang Wang (E-mail: [email protected])  
Research is supported by the National Natural Science Foundation of China, Grant No.62271494.  
Manuscript received December 31, 2023.  

###### 摘要  

设计有效的特征提取器对于自动调制识别（AMR）、信号体制识别（SSR）和信号结构解析（SSP）等盲信号分析任务至关重要。本文提出双通道神经网络（DualNN），通过IQ通道间的参数共享高效利用复值信号。有别于传统的实值或复值模型，DualNN是一种开创性框架，它共享网络参数来处理复值信号的实部和虚部，并从理论上证明在保持表达能力的同时降低了泛化误差。具体而言，我们提出一种基于Transformer的新型架构来实现DualNN，称为Dualformer。Dualformer将输入信号分割为片段级令牌，并捕获多粒度特征，从而在不同信号分析任务中实现稳健性能。此外，我们进行了大量实验，将Dualformer与三个基于Transformer的基线和四个传统基于深度学习的方法进行比较。结果表明，在AMR、SSR和SSP任务上均取得一致的性能提升。此外，DualNN的模块化设计使其能够很好地泛化到盲源分离和低信噪比频谱感知等盲信号处理任务。这项工作为DualNN架构在无监督和弱监督的复值信号分析场景中的更广泛应用铺平了道路。

## I 引言  

随着通信与感知一体化技术[26]、频谱监测[8]、认知无线电[1]以及即将到来的6G通信系统[7,17]的快速发展，通信信号的盲分析占据着越来越重要的地位。盲信号分析定义为：仅利用接收到的通信信号数据，在缺乏信号特征详细信息的情况下，进行信号调制参数估计及相关分析的过程。它支持信息恢复、目标识别和干扰引导等关键后处理功能。

参见图注  
图1：盲通信信号分析中特征提取器的示意图。

目前，通信信号的盲分析主要关注三项不同任务：自动调制识别（AMR）、信号体制识别（SSR）和信号结构解析（SSP），如图1所示。AMR和SSP分别基于接收信号数据识别调制类型和信号体制（例如Wi-Fi、蓝牙）。SSP则能将接收信号分割为不同的结构组成成分，同时识别每个片段对应的调制类型。这三项任务依赖于从同相/正交（IQ）序列中提取多层次分层特征，涵盖从低级信号特征到高级语义表征，以完成各自的识别目标。具体而言，三项任务在特征提取上的差异如下：（1）AMR主要进行粗粒度分析，将整个信号片段分类为特定调制类型。（2）SSR同样在粗粒度层面操作，但强调长期时间特征，因为不同信号体制具有独特的物理层信号结构。（3）SSP需要细粒度特征提取，分析单个信号样本以联合分类结构片段和调制类型。这种方法不仅有助于信号识别，还能分析未知信号结构。

从原始IQ序列中提取特征对于准确的盲信号分析至关重要，直接影响识别和分类性能。近年来，受深度学习（DL）在各领域巨大成功的推动，深度学习在通信信号盲分析中得到了广泛且成功的应用。多种主流架构，包括卷积神经网络（CNN）、循环神经网络（RNN）、长短期记忆网络（LSTM）和Transformer，已被确立为该领域中强大的特征提取方法。尤其是基于Transformer的方法已成为主导力量。建立在它们在自然语言处理和各种科学领域（如求解常微分方程[4]、建模物理动态系统[45]以及时间序列预测[30,28]）中的显著成功之上，Transformer已展现出捕捉通信序列数据中固有的复杂、长程时间依赖关系的强大能力。

尽管取得了这些重要的架构进展，当前基于深度学习的盲信号分析研究主要集中在开发新型网络架构、先进损失函数或优化算法上。对于如何有效利用原始IQ输入数据固有的复值结构这一基本问题，关注有限。当前利用深度学习处理复值通信信号的研究可分为两种主要范式（如图2所示）。

参见图注  
(a)  
(b)  
图2：实值范式和复值范式的比较。(a) RVNN。(b) CVNN。

（1）实值范式：实值方法可通过两种方式实现：仅使用I分量作为模型输入，或同时拼接I和Q分量形成输入信号，从而便于应用传统的实值神经网络（RVNN）架构。在这类方法中，早期工作使用CNN进行调制分类[31,47,25]。为捕捉时间依赖关系，后来采用了RNN，特别是LSTM变体[33,15]。随后的混合CNN-RNN架构进一步提升了性能[48,39]。最近，基于Transformer的模型通过利用自注意力机制，在AMR上超越了CNN和RNN[20,49,6]。

（2）复值范式：由于复值信号本身包含幅度和相位信息，近期趋势是将IQ信号视为不可分割的整体直接输入神经网络。复值神经网络（CVNN）通过原生处理复数，采用复权重、激活函数和反向传播算法，实现直接特征提取。Tu等人[38]开创性地将CVNN用于自动调制识别（AMC），引入了复卷积、批归一化和权重初始化等核心组件。后续工作优化了CVNN架构以降低复杂度[43,29]。Ren等人[35]将CVNN扩展到循环结构，提出了并行CNN-RNN模型，而文献[46,44]则开发了复值LSTM和GRU变体。最近，Lei证明复值Transformer通过自注意力联合建模幅度和相位，性能优于实值对应模型[18,19,21]。

先前研究表明，采用IQ信号可以有效达到更好的理论性能极限；然而，这种方法也带来了计算复杂度的增加和模型优化方面的更大挑战。理论分析和实验结果表明，由逼近误差和估计误差构成的泛化误差，在CVNN和RVNN之间表现出根本不同的特征。观察到两个关键发现。首先，CVNN通过其更高维度的参数空间获得了更强的表示能力，从而在理论上保证了更小的逼近误差。其次，由此产生的复杂误差曲面形态导致CVNN更频繁地收敛到虚假局部最小值，从而相比RVNN产生更大的估计误差。

综上所述，基于深度学习的盲信号分析研究面临两个关键挑战：
1. 对于复值数据，存在多种将其适配到RVNN的做法。然而，这些方法往往缺乏坚实的理论基础来严格证明其有效性。此外，由于CVNN是高容量模型，通常需要大量训练数据才能找到良好解，这些适配方法未能解决非合作场景中数据稀缺这一根本性挑战。
2. 一个关键挑战在于设计一种模型，有效平衡逼近误差和估计误差之间的权衡。核心技术问题在于如何有效利用I和Q分量，以保持复值架构的表示优势，同时解决其固有的优化不稳定性。

本文探索了处理复值通信信号的一种新替代方案：双通道神经网络（DualNN），其中处理实部和虚部信号的网络参数是共享的。该通用框架配有关于其性质的数学证明。为了展示DualNN的优势，我们进一步针对具体任务提出了一种双通道Transformer架构（DualFormer），其中包含两个定制的投影头，以满足不同粒度需求：用于粗粒度任务（AMR和SSR）的Header V1和用于细粒度任务（SSP）的Header V2。本文的贡献总结如下：
1. 提出DualNN，一种使用RVNN处理复值通信信号的开创性框架。我们创新的对称架构与参数共享不仅稳定了训练过程，还显著降低了模型复杂度。
2. 提供了基于泛化理论的数学证明，表明所提出的DualNN在全局上实现了比RVNN更紧的泛化误差界，并且在训练数据有限的情况下优于CVNN。与未能捕捉复值结构的RVNN不同，DualNN利用共享变换提取并组合来自复值信号I和Q分量的信息。而CVNN需要充足的数据来学习这些关系，所提出的DualNN的参数共享架构则能在数据稀缺场景下实现稳健性能。
3. 提出Dualformer，一种新颖的双通道Transformer模块，将信号片段作为令牌处理，同时有效利用I和Q分量之间的关系。具体而言，我们设计了两个专门的投影头以实现多尺度特征提取，并确保在AMR、SSR和SSP等不同任务上的高精度性能。仿真结果表明，所提出的Dualformer在这三项任务上优于最先进的方法。

本文其余部分包含五个部分。第二节阐述了盲通信信号分析的任务和模型。第三节介绍了双通道神经网络架构，并给出了泛化误差的理论分析以展示所提出架构的优势。第四节介绍了Dualformer，它是DualNN的一个具体实例化，采用Transformer架构作为核心模型。第五节在AMR、SSR和SSP上进行了实验。第六节总结全文。

## II 问题描述  

### II-A 通信信号模型  

典型的无线通信系统包括发射机、无线信道和接收机。传输的信息经过信源编码器、信道编码器、调制器、数模转换器（D/A）和成形滤波器，得到基带信号 \(x_{b}(n)\)，表示为  

\[
x_{b}(n) = \underbrace{\sum_{m=0}^{M_{1}-1} b_{m}^{k_{1}} g(n - m T_{b_{1}})}_{a_{1}} + \cdots \underbrace{\sum_{m=0}^{M_{S}-1} b_{m}^{k_{S}} g\left(n - m T_{b_{S}} - \sum_{s=1}^{S-1} M_{s} T_{b_{s}}\right)}_{a_{S}},
\tag{1}
\]

其中下标 \(s \in \{1, \dots, S\}\) 表示片段索引，\(S\) 为总片段数。第 \(s\) 个片段 \(a_{s}\) 包含 \(M_{s}\) 个符号，采用第 \(k_{s}\) 种调制类型（\(k_{s} \in \{1, \dots, K\}\)），符号周期为 \(T_{b_{s}}\)。\(K\) 表示候选调制类型总数。\(b_{m}^{k_{s}}\) 表示第 \(s\) 个片段中第 \(m\) 个符号的幅度、频率和相位，而 \(g(n)\) 表示成形滤波器。基带信号 \(x_{b}(n)\) 随后通过载波频率搬移得到带通信号 \(x_{c}(t)\)，可简化为  

\[
x_{c}(n) = \mathcal{R}\{x_{b}(n)\} \cos(2\pi f_{c} n) - j \mathcal{I}\{x_{b}(n)\} \sin(2\pi f_{c} n) = x_{\text{real}}(n) \cos(2\pi f_{c} n) - j x_{\text{imag}}(n) \sin(2\pi f_{c} n),
\tag{2}
\]

其中 \(x_{\text{real}}(n) = \mathcal{R}\{x_{b}(n)\}\)，