ProWAFT:一种面向基于FPGA的CNN加速器的工作负载感知与动态容错的ROMA-LPD实例

arXiv cs.CL 论文

摘要

ProWAFT是一种主动式工作负载感知容错框架,用于基于FPGA的CNN加速器,通过部分重配置选择性应用三模冗余(TMR),以最小化延迟、能耗和可靠性风险的综合目标。

arXiv:2607.01602v1 公告类型:新 摘要:基于SRAM的FPGA为网络边缘受能量和延迟约束的CNN推理提供了有吸引力的平台,但瞬态故障可能导致静默错误,从而损害可靠性。常开冗余(例如,全TMR)提高了正确性,但会带来显著的性能和能量开销,而反应式恢复可能在关键路径上引入不可接受的延迟。我们提出\textbf{ProWAFT},一种主动式工作负载感知容错框架,用于基于FPGA的CNN加速器,利用部分重配置在可重构分区上选择性应用TMR。ProWAFT量化工作负载关键性,建模故障传播与重配置开销,并选择最小化延迟、能耗和可靠性风险综合目标的配置。在Xilinx Zynq UltraScale+ ZCU104平台上实现,具有六个可重构区域,并在由ResNet-18、MobileNetV2和EfficientNet-Lite导出的500任务轨迹上,在时变SEU注入下进行评估。ProWAFT实现了比静态TMR和反应式重配置更低的综合成本,同时保持了高任务成功率和接近基线的吞吐量,且在线决策开销低。
查看原文
查看缓存全文

缓存时间: 2026/07/03 05:41

# ProWAFT:一种面向FPGA CNN加速器的工作负载感知动态容错的ROMA-LPD实例
来源:https://arxiv.org/html/2607.01602
陈欣欣  中国科学院大学计算机科学与技术学院 &乔浩然  中国科学院大学计算机科学与技术学院 &郭一鸣  中国科学院大学计算机科学与技术学院 &罗克程  中国科学院大学计算机科学与技术学院 &冯思远  中国科学院大学计算机科学与技术学院 &马静雯  中国科学院大学计算机科学与技术学院

###### 摘要

基于SRAM的FPGA为网络边缘对能耗和延迟敏感的CNN推理提供了一个有吸引力的平台,然而瞬态故障可能导致静默错误,从而损害可靠性。持续冗余(例如,完全TMR)提高了正确性,但引入了显著的性能和能耗开销,而反应式恢复可能在关键路径上引入不可接受的延迟。我们提出**ProWAFT**,一个针对FPGA CNN加速器主动式工作负载感知容错框架,它利用部分重配置在可重配置分区上选择性应用TMR。ProWAFT量化了工作负载关键性,对故障传播和重配置开销进行建模,并选择能够最小化延迟、能耗和可靠性风险复合目标的配置。在Xilinx Zynq UltraScale+ ZCU104平台上实现,包含六个可重配置区域,并使用从ResNet-18、MobileNetV2和EfficientNet-Lite派生的500任务轨迹在时变SEU注入下进行评估,ProWAFT在保持高任务成功率和接近基线吞吐量的同时,实现了比静态TMR和反应式重配置更低的复合成本,且在线决策开销低。

## 1 引言

卷积神经网络(CNN)现在被常规部署在边缘平台上用于感知和监控任务,这些任务对延迟和能耗有严格限制。基于FPGA的加速器在此场景下是一种实用的选择:它们提供领域特定的并行性,同时通过重配置保持部署后的灵活性。然而,随着部署规模扩大并进入更严酷的运行环境,可靠性变得不再是次要问题,而是一个限制性因素。[Shanghai AI Lab等人 (2025)](https://arxiv.org/html/2607.01602#bib.bib33)

基于SRAM的FPGA容易受到瞬态干扰,这些干扰可能破坏配置位或片上计算,导致CNN推理中的静默错误。难点在于故障影响高度不均匀。故障风险(例如,随时间和运行条件变化)和工作负载敏感性(例如,层类型、精度和错误传播行为)都可能在执行轨迹中发生显著变化。图1 (https://arxiv.org/html/2607.01602#S1.F1)总结了由此产生的不匹配:固定的保护级别假设了一个静态环境和同质的工作负载,而这在实践中都不成立。[Wen等人 (2026)](https://arxiv.org/html/2607.01602#bib.bib8)

一种常见的缓解措施是静态应用三模冗余(TMR),这提高了鲁棒性,但也增加了资源使用和功耗,并可能降低受限设备上的吞吐量。另一个极端是,无冗余运行保留了效率,但当故障风险增加时,会使系统暴露于不可接受的错误率。仅在检测到故障后才进行重配置的反应式恢复方案减少了稳态开销,但它们在关键路径上承担开销,并且可能违反延迟约束。这些权衡表明,可靠性应被视为运行时决策,而不是一次性设计选择。[Gao等人 (2025)](https://arxiv.org/html/2607.01602#bib.bib7)

本工作提出了**ProWAFT**,一个针对FPGA CNN加速器的主动式工作负载感知容错框架。ProWAFT使用运行时遥测(工作负载特征和估计的每分区故障概率)以及离线表征的部分重配置(PR)开销来决定何时何地启用保护。该方法量化了工作负载关键性,对跨可重配置分区的故障传播和恢复风险进行建模,并选择能够最小化涵盖性能、能耗和可靠性的复合目标(同时考虑PR成本)的配置。在我们基于Zynq UltraScale+ ZCU104平台(具有六个可重配置区域和包含500个任务的CNN工作负载轨迹)的实现中,ProWAFT相较于静态和反应式基线降低了复合成本,同时保持了较小的决策开销。[Li等人 (2025)](https://arxiv.org/html/2607.01602#bib.bib9)

##### 贡献。

- •我们将FPGA CNN加速器的主动式工作负载感知容错表述为一个运行时配置问题,通过部分重配置实现**选择性TMR**,在重配置约束下显式权衡延迟、能耗和可靠性。
- •我们引入了一个用于决策的轻量级建模栈,包括**工作负载关键性分数(WCS)** 和基于故障传播的风险公式(FPF/RRS),并将这些组件整合到用于配置选择的复合成本中。
- •我们在ZCU104平台上实现了ProWAFT,并在时变SEU注入模型下使用多样化的CNN层工作负载进行了评估。结果显示,在低在线决策开销和量化PR成本的情况下,复合成本和自适应保护行为均得到了改善。

参考图注 图1:ProWAFT的动机。静态方法因忽略动态故障风险和多样化的工作负载关键性而失败。ProWAFT通过基于工作负载关键性(WCS)、实时故障风险和重配置开销主动调整保护来解决这一问题。控制器通过部分重配置(PR)管理选择性TMR,以平衡性能、能耗和可靠性,最小化复合成本。

## 2 相关工作

### 2.1 FPGA软错误

基于SRAM的FPGA容易受到瞬态故障的影响,例如单粒子翻转(SEU),这些故障可能破坏配置位并导致静默故障。先前的工作已经探索了跨堆栈的缓解措施,包括配置擦洗(周期性的或自适应的)、使用ECC/奇偶校验保护状态,以及硬件冗余(如TMR/双模冗余)。这些技术可以显著提高可靠性,但其开销不可忽视,并且通常依赖于工作负载和平台。在边缘推理中,功耗和延迟裕量有限,持续冗余通常过于昂贵,而纯粹的反应式恢复可能会引入不可接受的延迟峰值。[Tang等人 (2022c)](https://arxiv.org/html/2607.01602#bib.bib10)

### 2.2 CNN可靠性

越来越多的研究工作通过故障注入、统计误差模型和脆弱性分析来研究故障下CNN/DNN推理的可靠性。一个一致的观察结果是:故障影响不是均匀的;不同的层类型、精度和激活行为表现出不同的敏感性,并且错误在通过网络传播时可能会放大。这激发了对DNN加速器的选择性保护和轻量级检测策略。然而,许多现有方法要么假设一个离线选择的固定保护计划,要么没有显式建模故障如何在分区设计中的依赖加速器阶段传播。[L iu等人 (2023)](https://arxiv.org/html/2607.01602#bib.bib11)

### 2.3 部分重配置

部分重配置(PR)已被广泛用于时分复用加速器功能、将数据路径特化以适应变化的模型,以及在运行时调整资源分配。PR还通过当条件允许时在基线版本和强化版本(例如,TMR保护模块)之间切换,实现了自适应可靠性。现有的基于PR的容错方案通常是反应式的(在错误触发后)或依赖于固定阈值,并且可能没有在决策目标中显式考虑PR的时间/能耗开销。这可能导致保护应用得太晚、太广或太频繁。[Tang等人 (2022a)](https://arxiv.org/html/2607.01602#bib.bib12)

### 2.4 运行时策略

在竞争目标(延迟、能耗和可靠性)下的运行时管理已通过基于规则的切换、启发式控制器以及优化/学习策略(如MDP或RL公式)来解决。这些方法证明了正式决策制定价值,但它们通常采用粗粒度的可靠性代理,并且没有将依赖于工作负载的故障关键性与故障传播和PR开销纳入统一的成本模型中。ProWAFT的不同之处在于,它将工作负载关键性评分与传播感知风险建模以及显式的PR成本项相结合,从而实现了主动的选择性TMR决策,这些决策能够跟踪工作负载变化和时变故障风险。[Feng等人 (2024)](https://arxiv.org/html/2607.01602#bib.bib13)

参考图注 图2:ProWAFT流水线的架构概览。来自工作负载和系统健康状态的输入遥测数据依次经过四个阶段处理:(1) 工作负载关键性评分 (WCS);(2) 故障感知的性能与风险建模;(3) 基于加权指标和PR开销的复合成本评估;最后,(4) 双层MDP策略,该策略确定FPGA分区的最优主动选择性TMR动作。

## 3 方法论:面向CNN加速器的主动式工作负载感知容错 (ProWAFT)

本节介绍**ProWAFT**,一个通过部分重配置(PR)实现FPGA CNN加速器工作负载自适应容错的运行时框架。ProWAFT通过联合考虑(i)工作负载特征、(ii)估计的分区级故障风险以及(iii)PR开销(图2 [https://arxiv.org/html/2607.01602#S2.F2](https://arxiv.org/html/2607.01602#S2.F2)),来决定*何时*以及*何地*启用保护(例如,TMR变体)。

### 3.1 系统模型与问题公式化

我们将加速器建模为一组$K$个可重配置分区 $\mathcal{P}=\{P_{1},\dots,P_{K}\}$。每个分区 $P_{k}$ 可以从库 $\mathcal{F}_{k}$ 中配置一个预综合的硬件函数,共 $N_{k}$ 种选择。在我们的设置中,$\mathcal{F}_{k}$ 包括所支持内核的基线和保护(例如,TMR)变体。一个系统配置表示为 $C_{j}\in\mathcal{C}$。[Zhao等人 (2024a)](https://arxiv.org/html/2607.01602#bib.bib14) [Zhao等人 (2024b)](https://arxiv.org/html/2607.01602#bib.bib15)

加速器处理一个工作负载流 $\mathcal{W}=\{W_{1},W_{2},\dots\}$,其中每个 $W_{i}$ 对应一个CNN层(或一小层组),由特征向量 $\mathbf{v}_{i}$ 描述(例如,算子类型、输入形状、精度、批大小)。我们用 $\mathcal{C}(W_{i})\subseteq\mathcal{C}$ 表示工作负载 $W_{i}$ 的可行配置集,即实现 $W_{i}$ 所需内核和精度的配置。[Wang等人 (2025a)](https://arxiv.org/html/2607.01602#bib.bib16) [Tang等人 (2023)](https://arxiv.org/html/2607.01602#bib.bib17)

时刻 $t$ 的系统健康状态由 $\mathbf{H}(t)=\{p^{fault}_{1}(t),\dots,p^{fault}_{K}(t)\}$ 表示,其中 $p^{fault}_{k}(t)$ 是分区 $P_{k}$ 的估计瞬态故障概率。PR在工作负载之间执行,并产生时间/能耗开销;我们在一个执行窗口上对受约束的重配置预算 $B_{PR}$(时间和/或能量)进行建模。[Sun等人 (2025)](https://arxiv.org/html/2607.01602#bib.bib18) [Lu等人 (2024)](https://arxiv.org/html/2607.01602#bib.bib19)

**目标。** 对于每个传入的工作负载 $W_{i}$,给定当前配置 $C_{current}$、健康状态 $\mathbf{H}(t)$ 和剩余预算 $B_{PR}$,ProWAFT选择一个动作(重配置到某个 $C_{j}\in\mathcal{C}(W_{i})$ 或保持不变),以最小化一个期望的复合成本,该成本包含延迟、能耗和可靠性风险,同时考虑PR开销。[Zhao等人 (2025)](https://arxiv.org/html/2607.01602#bib.bib20) [Tang等人 (2024b)](https://arxiv.org/html/2607.01602#bib.bib21) [Tang等人 (2024a)](https://arxiv.org/html/2607.01602#bib.bib22)

### 3.2 工作负载表征与关键性评分

我们定义一个**工作负载关键性分数 (WCS)** 来量化 $W_{i}$ 对硬件故障的敏感程度:

$$
WCS(W_{i})=\alpha\cdot\mathcal{S}_{data}(W_{i})+\beta\cdot\mathcal{S}_{control}(W_{i})+\gamma\cdot\mathcal{P}_{error}(W_{i}),
$$(1)

其中 $\alpha+\beta+\gamma=1$,且每一项都归一化到 $[0,1]$。[Shan等人 (2024)](https://arxiv.org/html/2607.01602#bib.bib23) [Feng等人 (2023)](https://arxiv.org/html/2607.01602#bib.bib24) [Tang等人 (2022b)](https://arxiv.org/html/2607.01602#bib.bib25)

- • $\mathcal{S}_{data}(W_{i})$ (数据敏感性) 由输出激活分布的熵导出。实际中,我们使用校准集上的离线分析来估计它,并将层间统计信息存储为按算子类型/形状/精度索引的查找表。
- • $\mathcal{S}_{control}(W_{i})$ (控制关键性) 标记在条件路径上的工作负载 (0/1) 。对于没有动态控制流的标准前馈CNN,此项设为0。
- • $\mathcal{P}_{error}(W_{i})$ (错误传播可能性) 通过轻量级预表征 (例如,单比特故障注入) 获得,并存储为紧凑表格或回归模型。它近似估计当前工作负载中的故障导致输出端任务级严重错误的概率。

### 3.3 故障感知的性能与可靠性建模

对于候选配置 $C_{j}\in\mathcal{C}(W_{i})$,ProWAFT预测无故障的性能/能耗,然后在 $\mathbf{H}(t)$ 下估计可靠性风险。

1) 基线 (无故障) 度量。

$$
T_{base}(C_{j},W_{i}) = \sum_{k=1}^{K}\frac{Ops_{k}(W_{i})}{f_{k}\cdot PE_{k}(C_{j})} + T_{comm}(C_{j},W_{i}),
$$(2)

$$
E_{base}(C_{j},W_{i}) = \sum_{k=1}^{K}P^{dyn}_{k}(C_{j})\cdot\frac{Ops_{k}(W_{i})}{f_{k}\cdot PE_{k}(C_{j})} + P_{static}(C_{j})\cdot T_{base}(C_{j},W_{i}).
$$(3)

这里,$Ops_{k}(W_{i})$ 表示映射到 $P_{k}$ 上用于 $W_{i}$ 的操作数,$f_{k}$ 是时钟频率,$PE_{k}(C_{j})$ 是活跃处理单元的数量,$P^{dyn}_{k}(C_{j})$ 是动态功耗,$P_{static}(C_{j})$ 是活跃配置的静态功耗。[Fu等人 (2024)](https://arxiv.org/html/2607.01602#bib.bib26) [Guo等人 (2025)](https://arxiv.org/html/2607.01602#bib.bib27) [Wang等人 (2025c)](https://arxiv.org/html/2607.01602#bib.bib28)

2) 故障传播与风险。我们为每个分区定义一个**故障传播因子 (FPF)**:

$$
FPF(P_{k},W_{i},C_{j}) = WCS(W_{i}) \cdot \lambda_{k}(C_{j}) \cdot Fanout(P_{k},C_{j}),
$$(4)

其中 $\lambda_{k}(C_{j}) \in [0,1]$ 是

相似文章

面向Tensix架构的大语言模型推理中的算子融合

arXiv cs.LG

本文提出了一种针对Tenstorrent Tensix架构上大语言模型推理的算子融合策略,将RMSNorm与矩阵乘法融合,以提高数据局部性并减少DRAM访问。在Wormhole平台上,使用Qwen2.5-0.5B、Qwen3-0.6B和Qwen3-4B进行的实验显示,注意力模块延迟降低高达37.44%,MLP延迟降低15.89%。

Alpha-RTL:用于 RTL 硬件优化的测试时训练

arXiv cs.LG

Alpha-RTL (TTT-RTL) 引入了一种用于 RTL 硬件优化的测试时训练框架,利用带有 EDA 反馈的强化学习来优化 LLM 生成的设计。它在基准测试上实现了显著的 PPA 减少。

WARP: 权重空间分析用于恢复训练数据组合

arXiv cs.LG

WARP是一种框架,通过模型合并生成伪检查点并提取几何特征,从已发布权重中恢复微调模型的域混合权重。它在BERT和GPT-2上实现了低平均绝对误差,优于成员推断。