基于哈密顿启发的注意力机制用于可扩展射频发射器指纹识别

# 哈密顿启发式注意力机制用于可扩展射频发射机指纹识别
来源：https://arxiv.org/html/2605.30364

###### 摘要

射频指纹识别利用基带 I/Q 信号中由硬件引入的缺陷来识别无线发射机。然而，深度学习模型在接收机和信道分布发生偏移时性能往往会下降，尤其是在发射机数量增长的情况下。本文提出了**哈密顿 Transformer**，一种物理信息驱动的注意力架构，它通过一个学习到的斜对称生成器和 Störmer–Verlet 蛙跳积分步骤，在每个注意力头内强制实施范数保持的值向量动力学。此外，一个相位增量嵌入在输入层暴露了振荡器动力学。所有实验均使用 WiSig 数据集中未经均衡处理的原始 I/Q 信号，涵盖四种协议：同一天分类、跨接收机泛化、跨天泛化以及发射机规模扩展至 150 个设备。哈密顿 Transformer 在同一天条件下达到 99.12% 的准确率，在 150 个发射机时达到 61.64%，在所有规模点上均持续优于 CNN 和 Transformer 基线。一项受控消融研究表明，值更新中的范数保持是驱动扩展优势的主要归纳偏置，而相位增量嵌入则贡献了单个最大的组件级提升。这些结果表明，将物理信息结构先验嵌入注意力机制是处理原始无线信号上大规模发射机识别的有效方法。

## I 引言

低价无线设备的普及使得物理层安全成为一个日益重要的议题。消费级 WiFi 芯片组、物联网传感器和工业收发机以大规模方式部署在医院网络和关键基础设施等环境中。然而，设备身份通常是通过软件层凭证（如 MAC 地址或协议级握手）来建立的，这两种方式都可以在无需物理接触硬件的情况下被克隆或冒充。一个成功伪装成合法节点的恶意发射机可以注入流量、耗尽网络资源或悄无声息地窃取数据，同时在网络层保持无法区分。

射频指纹识别通过利用半导体制造过程中引入的无意硬件缺陷来解决这一问题。即使来自相同生产批次的发射机，在载波频率偏移、相位噪声谱密度和 I/Q 不平衡方面也表现出可测量的差异。这些偏差随时间保持稳定，并且可在基带波形中检测到，因此成为硬件级身份验证的实用基础 [16]。

深度卷积神经网络显著提升了射频指纹识别的性能。诸如 ORACLE [18] 以及 Jian 等人 [11] 的大规模研究表明，在固定信道下，一个在原始 I/Q 样本上进行端到端训练的 CNN 可以对受控的发射机集合实现超过 95% 的分类准确率。然而，这些研究中的训练和评估均是在同一记录会话中使用同一接收机完成的。当接收机或采集日期发生变化时，准确率急剧下降。Al-Shawabka 等人 [1] 系统性地描述了这种脆弱性，表明在某一天采集的数据上训练的模型，在次日评估时性能会退化至接近随机水平。在这种情况下，模型实际上学习的是信道特征而非发射机指纹。

WiSig 数据集 [9] 的发布使得能够系统地研究这一问题在大规模场景下的表现。WiSig 提供了来自 174 个商用发射机、使用 41 个 USRP 接收机在 ORBIT 测试台 [15] 上四个采集日收集的约一千万个 WiFi 前导码捕获信号。其预先打包的子集隔离了不同的变异性来源：接收机身份、采集日期和发射机种群大小。这种结构使得 WiSig 成为接收机和信道无关射频指纹识别的标准基准，推动了后续在开放集授权 [8]、针对信道鲁棒性的数据增强 [20] 以及通过生成对抗网络进行接收机无关指纹识别 [24] 等方面的工作。

尽管取得了这些进展，现有架构仍存在一个结构性局限。CNN 通过局部卷积滤波器捕获短程幅度和相位模式，而标准 Transformer [22] 则通过无约束的注意力权重捕获长程依赖关系。这两种架构都没有融入关于 I/Q 信号生成物理过程的先验知识。WiFi 前导码的基带波形近似于复平面上的旋转，由振荡器的载波频率偏移和相位噪声驱动——这种动力学本质上是能量守恒的。由于注意力机制是无约束的，模型可以自由地关注那些依赖于信道但无法在接收机或采集日期间泛化的幅度变化。这是导致分布变化下性能失败的根本原因。

为了解决这一局限，本文提出了**哈密顿 Transformer**，一种将能量守恒先验直接嵌入注意力机制中的神经网络架构。受哈密顿神经网络 [6] 和辛积分理论 [3,7] 的启发，该模型将每个注意力头内的值向量划分为位置和动量分量，并通过一个由学习到的斜对称生成器控制的 Störmer–Verlet 蛙跳步骤进行演化。由于斜对称矩阵生成正交流，所得的值更新在构造上是范数保持的，从而使模型的内部动力学与振荡器相位演化的旋转行为保持一致。一个显式的相位增量嵌入还在输入表示层面暴露了振荡器动力学。

该模型在 WiSig 数据集上通过四种实验协议进行评估，全程使用**未经均衡处理的原始 I/Q 信号**——任何阶段均不应用信道预处理。在同一天条件下，所有架构都取得了较高且可比的准确率。哈密顿 Transformer 在同一天分类上达到 99.12%，在跨接收机泛化上达到 52.94%，在这两种设置中均为所有模型中的最高值。在发射机规模扩展实验中，哈密顿 Transformer 在所有规模点上保持稳定性能，并在 150 个发射机时达到 61.64%，持续优于两个基线。一项受控消融研究进一步表明，无论是通过哈密顿蛙跳还是 Cayley 正交参数化 [10] 实现的范数保持值动力学，在大规模发射机数量下均持续优于无约束注意力，从而确定范数保持是在原始信号上进行大规模发射机识别的关键归纳偏置。

据我们所知，这是首次将范数保持值动力学嵌入到用于射频指纹识别的 Transformer 注意力机制中，也是首次在 WiSig ManyTx 子集上使用非均衡信号系统性地评估此类约束。在此设置下，我们性能最佳的变体在 150 个发射机时达到 79.72%，这是文献中关于非均衡 WiSig ManyTx 数据集上已发表最高准确率。

本文的贡献如下：

- • 我们引入了**哈密顿 Transformer**，一种物理信息驱动的注意力架构，通过一个由学习到的斜对称生成器控制的 Störmer–Verlet 蛙跳更新，强制值向量动力学为范数保持，其动机来自振荡器驱动的 I/Q 信号的旋转行为。
- • 我们提出了一种**I/Q 相位增量嵌入**，直接在输入表示层面暴露发射机振荡器动力学，这在我们消融研究中提供了单个最大的每组件准确率提升。

## II 相关工作

射频指纹识别的早期工作依赖从瞬态信号或频谱估计中手工提取的特征。当卷积神经网络证明原始 I/Q 波形包含足够的判别信息来识别发射机而无需显式特征工程时，这一格局发生了转变。O’Shea 等人 [14] 表明卷积架构可以直接从基带样本对调制方案进行分类，确立了一种后来被指纹识别系统采用的范式。Riyaz 等人 [16] 将这种方法扩展到发射机识别，展示了在原始 I/Q 数据上进行端到端训练的多层 CNN 可以在受控数据集上取得高准确率，同时相比经典的基于特征的处理流程具有实际优势。

后续工作对基于 CNN 的射频指纹识别架构进行了精细化改进。ORACLE [18] 对网络深度、滤波器宽度和输入表示进行了广泛的消融研究。Sankhe 等人 [17] 进一步表明，包括载波频率偏移和 I/Q 不平衡在内的硬件级缺陷可以直接从原始信号中利用，而无需针对特定无线电的预处理。Jian 等人 [11] 的一项多数据集综合评估证实，在受控训练条件下，基于 CNN 的指纹识别器可以跨波形标准进行泛化。窄带发射机识别也得到了探索，Zhang 等人 [23] 开发了针对窄带发射机的建模技术，而 Shen 等人 [19] 则研究了 LoRa 部署中的可扩展性和信道鲁棒性。

尽管在受控条件下取得高准确率已是公认事实，但在变化的接收机或传播信道上保持性能仍然具有挑战性。Al-Shawabka 等人 [1] 提供了对这一问题的系统性分析，表明在特定信道条件下训练的模型，在评估于不同信道时准确率可能下降至接近随机水平。这是因为卷积滤波器可能无意中将信道特定特征与发射机硬件缺陷一起编码。

数据增强已被提出作为一种缓解策略。Soltani 等人 [20] 表明，使用合成增强的信道实现进行训练可以改善跨信道泛化。Hanna 等人 [8] 研究了开放集发射机授权，要求分类器拒绝训练中未见过的设备。Zhao 等人 [24] 通过基于 GAN 的框架处理接收机无关指纹识别，该框架试图去除接收机引入的失真同时保留发射机特定特征。

WiSig 数据集 [9] 采集自 ORBIT 测试台 [15]，其设计初衷是在统一实验框架内支持对接收机变化、信道变化和发射机种群规模的系统性评估。它为本文提供了基准数据集。

Transformer 架构 [22] 最初提出用于自然语言处理，现已广泛应用于结构化时间序列数据。其自注意力机制使得模型能够捕获整个序列长度上的依赖关系，而不受卷积滤波器局部性的约束。层归一化 [2] 对具有异质统计特性的序列稳定训练，这对于幅度包络在 WiFi 前导码中变化的 I/Q 信号是一个重要性质。

基于注意力的模型的扩展也已被提出用于无序或结构化信号集合。Lee 等人 [12] 引入了 Set Transformer，通过归纳点池将注意力机制扩展到置换不变设置。尽管取得了这些进展，标准 Transformer 架构对值向量在注意力层间的演化方式没有施加结构约束。在分布偏移下的射频指纹识别任务中，这种灵活性可能导致模型关注那些依赖信道但无法在接收机或采集日期间泛化的特征。

近期的工作探索了将物理约束直接融入神经网络架构。Greydanus 等人 [6] 引入了哈密顿神经网络，通过参数化哈密顿函数并通过哈密顿方程推导系统动力学，将能量守恒作为硬性归纳偏置。Cranmer 等人 [5] 提出了拉格朗日神经网络，通过参数化拉格朗日函数并利用欧拉–拉格朗日形式推导运动方程。

Chen 等人 [3] 证明，配备辛积分步骤的循环架构能够更好地在长时间展开中保持相空间结构。这些方法的数学基础在于几何数值积分理论 [7]，该理论表明辛积分器能够在长时间范围内保持一个修正的哈密顿量。

本文提出的基于哈密顿量的 Transformer 将这一原理应用于注意力机制。值向量被划分为位置和动量分量，并通过一个由学习到的斜对称生成器控制的蛙跳积分步骤进行演化，确保每次更新对应一个范数保持的旋转。

## III 方法

本节描述输入表示、在 WiSig 数据集上评估的三种架构，以及所有模型统一采用的训练过程。CNN 和标准 Transformer 作为判别基线，代表了射频指纹识别的既有方法。哈密顿 Transformer 是本文提出的模型，构成了本研究的主要贡献。所有模型接收相同的规范化输入张量，并在相同的优化条件下训练以确保公平比较。

### III-A 哈密顿先验的动机

WiFi 前导码由本地振荡器产生，其载波频率偏移和相位噪声是每个发射机独有的稳定硬件缺陷。在复基带中，这些缺陷表现为信号向量 \(z(t) = I(t) + j Q(t)\) 的近乎恒定的旋转。纯旋转保持 \(\lVert z(t) \rVert\)，因此