MorphStrata：面向时间序列移动目标防御中Morphence学生生成的层特定扰动策略

# 用于时间序列移动目标防御的层特定扰动生成Morphence学生

来源：https：//arxiv.org/html/2606.17435
Arnav Doshi, Anusri Nagarajan, Thanh Quynh Nhu Ta, Mohammad Masum, Robert Chun, Jaydip Sen, Saptarshi Sengupta

###### 摘要

时间序列预测模型仍然容易受到基于梯度的对抗攻击，而现有的防御机制通常会在鲁棒性与有界响应和计算成本之间进行权衡。这个问题在移动目标防御中尤为突出，因为维护多个随机化模型实例会显著增加训练开销。在这项工作中，我们引入了MorphStrata，一种具有选择性、层特定随机噪声注入的学生生成策略，扩展了传统的Morphence防御。MorphStrata使用Transformer骨干网络作为教师，并扰动随机选择的结构块，以在应对不同数据分布和威胁模型时，在学生模型之间创建结构化的异构性。我们针对包括耶拿气候（JENA）、电力负荷图（ECL）和电器能耗预测（AEP）在内的一系列基准测试，使用FGSM、BIM和PGD攻击在多种攻击强度下，与原始Transformer和Morphence骨干网络进行了评估。在不同数据集和攻击机制下，所提出的集成方法保持了可比较的对抗RMSE。具体来说，对于高熵、周期性的数据集，如AEP数据，MorphStrata在所有攻击和扰动预算下实现了最低的RMSE，在epsilon值为0.5时，经过30次随机试验，在FGSM和BIM下分别比静态基线提高了高达24.11%和97.97%。在大多数实验中，针对各层生成MorphStrata学生所导致的训练时间增加不到Morphence MTD基线1%，同时实现了两位数的对抗RMSE降低。从实验中也观察到，生成的（学生）之间的成对L2距离越高，与整体防御有效性呈正相关。总之，MorphStrata作为一种MTD防御，在与现有基线相比时，以极小的成本增量维持了对抗鲁棒性。

移动目标防御、对抗鲁棒性、时间序列预测、Transformer、机器学习

## 1 引言

现代时间序列预测（TSF）日益依赖高容量的Transformer架构来建模复杂的时间依赖性[14, 17, 15]。这些模型仍然容易受到基于梯度的对抗性扰动；微小的输入变化可能导致巨大的预测误差[1, 3, 12]。在像TSF这样的回归设定中，误差可能在预测区间内累积，而不是破坏单个标签，这使得这种威胁在能源预测和工业监控中尤其严重[13, 23]。

移动目标防御（MTD）通过动态切换暴露的模型来降低攻击者的可靠性，防止对手针对固定的参数集进行优化[10]。Morphence通过从训练好的基础模型通过受控的高斯扰动生成学生模型池，然后在推理时从中采样，将这一思想具体应用于深度网络。然而，其学生生成是与架构无关的。对于基于Transformer的预测，这引出了一个自然的问题：参数扰动的位置是否对鲁棒性、统计异构性和成本有影响？

MorphStrata通过引入受Morphence的MTD公式启发的层特定学生生成来回答这个问题。MorphStrata不是不加区分地扰动所有参数，而是通过二进制掩码针对不同的Transformer组件（注意力、前馈、归一化），在学生池中创建结构化的异构性。目标并非声称其普遍优越性；与原始集成的比较特意依赖于数据集和攻击类型。相反，我们将扰动位置视为一个设计杠杆，以聚合扰动无法实现的方式重塑鲁棒性-成本权衡。

贡献。

- • 我们引入了MorphStrata，一个用于基于Transformer的时间序列预测的层特定MTD框架。
- • 我们进行了以权衡为中心的评估，涵盖了对抗RMSE、统计集成异构性（成对L2距离和差异免疫性[35]），以及跨FGSM、BIM和PGD攻击的计算开销。
- • 我们表明，学生之间更高的成对L2距离与防御有效性呈正相关，特别是在AEP数据集上，MorphStrata实现了最大的权重多样性增益。
- • 在所有九个数据集-攻击条件下，层定位比原始集成增加的挂钟时间不到1.1%，使得MorphStrata对于已经采用MTD的部署来说，几乎是一个零开销的扩展。

## 2 相关工作

对TSF的对抗攻击已经通过无目标和有目标的公式进行了研究[12, 13, 23, 33]。FGSM[1]及其迭代变体BIM[2]和PGD[3]是主要的白盒威胁模型。防御方法涵盖对抗训练[1, 3]、检测[6, 5]和基于集成的方法[29, 28, 27]。基于MTD的防御使用模型切换来降低攻击的可转移性；Morphence[10]及其扩展Morphence 2.0[11]是最接近的先前工作。MTDeep[35]将差异免疫性形式化为MTD集成中抵抗可转移性的度量；我们将这一指标调整到回归设定中。更强的预测准确性并不一定意味着对抗鲁棒性[24, 25]，这激发了对超越干净RMSE的防御特定评估。

## 3 预备知识

预测。设 x_{1:T} 为具有 d 个变量的多元时间序列。一个Transformer f_θ: R^{T×d} → R^{H×d'} 将回看窗口映射到未来区间 H。性能由RMSE衡量。

威胁模型。白盒攻击者构造 x_adv = x + δ，其中 ||δ||_∞ ≤ ε，以最大化预测损失。我们评估FGSM、BIM和PGD，ε ∈ {0.1, 0.2, 0.3, 0.5}。

MTD公式。静态模型在每次推理调用时暴露一个固定的 f_θ。MTD则采样 ŷ = f_{θ_t}(x)，θ_t ∼ p(θ)，因此攻击者必须针对池的期望进行优化：

δ* = arg max_{||δ||_∞ ≤ ε} E_{θ_t ∼ p(θ)} [ L(f_{θ_t}(x+δ), y) ]。    (1)

Morphence基线。给定基础参数 θ，Morphence 生成第 k 个学生为 θ^{(k)} = θ + η^{(k)}，η^{(k)} ∼ N(0, σ²I)，扰动整个参数向量，而不考虑架构意识。

（图：MorphStrata管道。干净训练的基础Transformer用于通过向选定的参数层（包括输入投影、注意力、前馈、LayerNorm和输出头组件）应用掩码高斯扰动来生成学生模型。产生的学生池在FGSM、BIM和PGD下进行对抗训练。在移动目标防御（MTD）推理期间，从训练好的池中随机采样M个学生，平均它们的预测，并使用RMSE、统计异构性、稳定性和资源指标评估预测性能。）

## 4 方法

### 4.1 MorphStrata学生生成

令 {S_k}_{k=1}^K 表示对应于不同Transformer组件的参数层：自注意力投影、前馈权重、归一化参数、输入投影和输出头。对于第 i 个学生，MorphStrata 选择层 S_{k_i} 并应用二进制掩码 m_{k_i,j} = 1[j ∈ S_{k_i}]，得到：

θ_{ms}^{(i)} = θ + m_{k_i} ⊙ η^{(i)}，η^{(i)} ∼ N(0, σ²I)。    (2)

将噪声限制在单一功能区域会产生结构上不同的学生；每个学生在计算图的不同部分受到扰动。原始基线全局应用相同的高斯噪声且无掩码，因此 θ_{van}^{(i)} = θ + η^{(i)}。

### 4.2 对抗训练与推理

原始和MorphStrata学生在生成后都进行对抗微调：

min_{θ_s} E_{(X,y)~D} [ L(f_{θ_s}(X_adv), y) ]。    (3)

我们维护一个固定的池（与Morphence不同，不重复生成池），这隔离了生成策略的影响。在推理时，从池中均匀采样M个学生，并平均它们的预测：

ŷ_t = (1/M) Σ_{f ∈ E_t} f(X_t)，E_t ⊂ F，|E_t| = M。    (4)

### 4.3 算法总结

算法1总结了MorphStrata学生生成与评估。层 {S_k}_{k=1}^K 对应于Transformer参数组，如注意力投影、前馈层、归一化参数、输入投影和输出头。学生从共同的基础模型生成，进行对抗微调，并作为固定池进行评估，不重复生成。

算法1 MorphStrata学生生成与评估
输入：基础模型 f_θ，层 {S_k}_{k=1}^K，噪声尺度 σ，攻击 A，学生数量 N_s，集成大小 M
1: F_0 ← ∅
2: for i = 1,...,N_s do
3:   选择层 S_{k_i}
4:   采样 η^{(i)} ∼ N(0, σ²I)
5:   定义掩码 m_{k_i,j} = 1[j ∈ S_{k_i}]
6:   初始化 θ_i ← θ + m_{k_i} ⊙ η^{(i)}
7:   F_0 ← F_0 ∪ {f_{θ_i}}
8: end for
9: for a ∈ A do
10:   F_a ← ∅
11:   for each f_{θ_i} ∈ F_0 do
12:     使用攻击 a 生成的对抗样本微调 f_{θ_i}
13:     将训练好的学生 f_{θ_i^a} 添加到 F_a
14:   end for
15:   for each test input X_t do
16:     从 F_a 中均匀采样 E_t，|E_t| = M
17:     ŷ_t ← M^{-1} Σ_{f ∈ E_t} f(X_t)
18:   end for
19:   计算攻击 a 的RMSE、统计异构性、稳定性、可转移性和资源指标
20: end for

## 5 实验

数据集。我们在三个多元预测基准上进行评估：耶拿气候（JENA，60分钟天气）、电力负荷图（ECL，15分钟负荷）和电器能耗预测（AEP，10分钟住宅能耗）。所有划分按时间顺序；仅在训练分区上进行缩放。详细的数据处理管道和时间结构分析见附录B。

模型。比较三个系列：静态基础Transformer（无防御）、具有全局高斯扰动的原始集成和MorphStrata。所有模型共享相同的Transformer架构和对抗训练程序；仅学生生成策略不同。模型使用PyTorch实现。

评估。每种配置在30次随机试验中评估。RMSE是主要指标，报告为均值±标准差。我们还跟踪成对权重L2距离作为统计异构性代理，以及差异免疫性[35]作为池中攻击不可转移性的度量。每个管道阶段的挂钟时间由每个样本的监控系统记录。# 用于时间序列移动目标防御的层特定扰动生成Morphence学生

来源：https://arxiv.org/html/2606.17435
Arnav Doshi, Anusri Nagarajan, Thanh Quynh Nhu Ta, Mohammad Masum, Robert Chun, Jaydip Sen, Saptarshi Sengupta

###### 摘要

时间序列预测模型仍然容易受到基于梯度的对抗攻击，而现有的防御机制通常会在鲁棒性与有界响应和计算成本之间进行权衡。这个问题在移动目标防御中尤为突出，因为维护多个随机化模型实例会显著增加训练开销。在这项工作中，我们引入了MorphStrata，一种具有选择性、层特定随机噪声注入的学生生成策略，扩展了传统的Morphence防御。MorphStrata使用Transformer骨干网络作为教师，并扰动随机选择的结构块，以在应对不同数据分布和威胁模型时，在学生模型之间创建结构化的异构性。我们针对包括耶拿气候（JENA）、电力负荷图（ECL）和电器能耗预测（AEP）在内的一系列基准测试，使用FGSM、BIM和PGD攻击在多种攻击强度下，与原始Transformer和Morphence骨干网络进行了评估。在不同数据集和攻击机制下，所提出的集成方法保持了可比较的对抗RMSE。具体来说，对于高熵、周期性的数据集，如AEP数据，MorphStrata在所有攻击和扰动预算下实现了最低的RMSE，在epsilon值为0.5时，经过30次随机试验，在FGSM和BIM下分别比静态基线提高了高达24.11%和97.97%。在大多数实验中，针对各层生成MorphStrata学生所导致的训练时间增加不到Morphence MTD基线1%，同时实现了两位数的对抗RMSE降低。从实验中也观察到，生成的（学生）之间的成对L2距离越高，与整体防御有效性呈正相关。总之，MorphStrata作为一种MTD防御，在与现有基线相比时，以极小的成本增量维持了对抗鲁棒性。

移动目标防御、对抗鲁棒性、时间序列预测、Transformer、机器学习

## 1 引言

现代时间序列预测（TSF）日益依赖高容量的Transformer架构来建模复杂的时间依赖性[14, 17, 15]。这些模型仍然容易受到基于梯度的对抗性扰动；微小的输入变化可能导致巨大的预测误差[1, 3, 12]。在像TSF这样的回归设定中，误差可能在预测区间内累积，而不是破坏单个标签，这使得这种威胁在能源预测和工业监控中尤其严重[13, 23]。

移动目标防御（MTD）通过动态切换暴露的模型来降低攻击者的可靠性，防止对手针对固定的参数集进行优化[10]。Morphence通过从训练好的基础模型通过受控的高斯扰动生成学生模型池，然后在推理时从中采样，将这一思想具体应用于深度网络。然而，其学生生成是与架构无关的。对于基于Transformer的预测，这引出了一个自然的问题：参数扰动的位置是否对鲁棒性、统计异构性和成本有影响？

MorphStrata通过引入受Morphence的MTD公式启发的层特定学生生成来回答这个问题。MorphStrata不是不加区分地扰动所有参数，而是通过二进制掩码针对不同的Transformer组件（注意力、前馈、归一化），在学生池中创建结构化的异构性。目标并非声称其普遍优越性；与原始集成的比较特意依赖于数据集和攻击类型。相反，我们将扰动位置视为一个设计杠杆，以聚合扰动无法实现的方式重塑鲁棒性-成本权衡。

贡献。

- • 我们引入了MorphStrata，一个用于基于Transformer的时间序列预测的层特定MTD框架。
- • 我们进行了以权衡为中心的评估，涵盖了对抗RMSE、统计集成异构性（成对L2距离和差异免疫性[35]），以及跨FGSM、BIM和PGD攻击的计算开销。
- • 我们表明，学生之间更高的成对L2距离与防御有效性呈正相关，特别是在AEP数据集上，MorphStrata实现了最大的权重多样性增益。
- • 在所有九个数据集-攻击条件下，层定位比原始集成增加的挂钟时间不到1.1%，使得MorphStrata对于已经采用MTD的部署来说，几乎是一个零开销的扩展。

## 2 相关工作

对TSF的对抗攻击已经通过无目标和有目标的公式进行了研究[12, 13, 23, 33]。FGSM[1]及其迭代变体BIM[2]和PGD[3]是主要的白盒威胁模型。防御方法涵盖对抗训练[1, 3]、检测[6, 5]和基于集成的方法[29, 28, 27]。基于MTD的防御使用模型切换来降低攻击的可转移性；Morphence[10]及其扩展Morphence 2.0[11]是最接近的先前工作。MTDeep[35]将差异免疫性形式化为MTD集成中抵抗可转移性的度量；我们将这一指标调整到回归设定中。更强的预测准确性并不一定意味着对抗鲁棒性[24, 25]，这激发了对超越干净RMSE的防御特定评估。

## 3 预备知识

预测。设 x_{1:T} 为具有 d 个变量的多元时间序列。一个Transformer f_θ: R^{T×d} → R^{H×d'} 将回看窗口映射到未来区间 H。性能由RMSE衡量。

威胁模型。白盒攻击者构造 x_adv = x + δ，其中 ||δ||_∞ ≤ ε，以最大化预测损失。我们评估FGSM、BIM和PGD，ε ∈ {0.1, 0.2, 0.3, 0.5}。

MTD公式。静态模型在每次推理调用时暴露一个固定的 f_θ。MTD则采样 ŷ = f_{θ_t}(x)，θ_t ∼ p(θ)，因此攻击者必须针对池的期望进行优化：

δ* = arg max_{||δ||_∞ ≤ ε} E_{θ_t ∼ p(θ)} [ L(f_{θ_t}(x+δ), y) ]。    (1)

Morphence基线。给定基础参数 θ，Morphence 生成第 k 个学生为 θ^{(k)} = θ + η^{(k)}，η^{(k)} ∼ N(0, σ²I)，扰动整个参数向量，而不考虑架构意识。

（图：MorphStrata管道。干净训练的基础Transformer用于通过向选定的参数层（包括输入投影、注意力、前馈、LayerNorm和输出头组件）应用掩码高斯扰动来生成学生模型。产生的学生池在FGSM、BIM和PGD下进行对抗训练。在移动目标防御（MTD）推理期间，从训练好的池中随机采样M个学生，平均它们的预测，并使用RMSE、统计异构性、稳定性和资源指标评估预测性能。）

## 4 方法

### 4.1 MorphStrata学生生成

令 {S_k}_{k=1}^K 表示对应于不同Transformer组件的参数层：自注意力投影、前馈权重、归一化参数、输入投影和输出头。对于第 i 个学生，MorphStrata 选择层 S_{k_i} 并应用二进制掩码 m_{k_i,j} = 1[j ∈ S_{k_i}]，得到：

θ_{ms}^{(i)} = θ + m_{k_i} ⊙ η^{(i)}，η^{(i)} ∼ N(0, σ²I)。    (2)

将噪声限制在单一功能区域会产生结构上不同的学生；每个学生在计算图的不同部分受到扰动。原始基线全局应用相同的高斯噪声且无掩码，因此 θ_{van}^{(i)} = θ + η^{(i)}。

### 4.2 对抗训练与推理

原始和MorphStrata学生在生成后都进行对抗微调：

min_{θ_s} E_{(X,y)~D} [ L(f_{θ_s}(X_adv), y) ]。    (3)

我们维护一个固定的池（与Morphence不同，不重复生成池），这隔离了生成策略的影响。在推理时，从池中均匀采样M个学生，并平均它们的预测：

ŷ_t = (1/M) Σ_{f ∈ E_t} f(X_t)，E_t ⊂ F，|E_t| = M。    (4)

### 4.3 算法总结

算法1总结了MorphStrata学生生成与评估。层 {S_k}_{k=1}^K 对应于Transformer参数组，如注意力投影、前馈层、归一化参数、输入投影和输出头。学生从共同的基础模型生成，进行对抗微调，并作为固定池进行评估，不重复生成。

算法1 MorphStrata学生生成与评估
输入：基础模型 f_θ，层 {S_k}_{k=1}^K，噪声尺度 σ，攻击 A，学生数量 N_s，集成大小 M
1: F_0 ← ∅
2: for i = 1,...,N_s do
3:   选择层 S_{k_i}
4:   采样 η^{(i)} ∼ N(0, σ²I)
5:   定义掩码 m_{k_i,j} = 1[j ∈ S_{k_i}]
6:   初始化 θ_i ← θ + m_{k_i} ⊙ η^{(i)}
7:   F_0 ← F_0 ∪ {f_{θ_i}}
8: end for
9: for a ∈ A do
10:   F_a ← ∅
11:   for each f_{θ_i} ∈ F_0 do
12:     使用攻击 a 生成的对抗样本微调 f_{θ_i}
13:     将训练好的学生 f_{θ_i^a} 添加到 F_a
14:   end for
15:   for each test input X_t do
16:     从 F_a 中均匀采样 E_t，|E_t| = M
17:     ŷ_t ← M^{-1} Σ_{f ∈ E_t} f(X_t)
18:   end for
19:   计算攻击 a 的RMSE、统计异构性、稳定性、可转移性和资源指标
20: end for

## 5 实验

数据集。我们在三个多元预测基准上进行评估：耶拿气候（JENA，60分钟天气）、电力负荷图（ECL，15分钟负荷）和电器能耗预测（AEP，10分钟住宅能耗）。所有划分按时间顺序；仅在训练分区上进行缩放。详细的数据处理管道和时间结构分析见附录B。

模型。比较三个系列：静态基础Transformer（无防御）、具有全局高斯扰动的原始集成和MorphStrata。所有模型共享相同的Transformer架构和对抗训练程序；仅学生生成策略不同。模型使用PyTorch实现。

评估。每种配置在30次随机试验中评估。RMSE是主要指标，报告为均值±标准差。我们还跟踪成对权重L2距离作为统计异构性代理，以及差异免疫性[35]作为池中攻击不可转移性的度量。每个管道阶段的挂钟时间由每个样本的监控系统记录。