AESOP:通过对抗性执行路径选择来压垮深度学习流水线

arXiv cs.LG 论文

摘要

本文介绍了 AESOP,这是一种用于对抗性执行路径选择的框架,能够显著增加深度学习推理流水线中的浮点运算次数(FLOPs)和延迟,揭示了基于效率的新型漏洞。

arXiv:2605.10987v1 公告类型:新提交 摘要:现代机器学习部署越来越多地将专用模型组合成动态推理流水线,其中上游组件产生的中间预测结果决定了下游组件的工作负载和输入。因此,处理输入的代价并非由单个模型决定,而是由两个耦合因素共同决定:每个被调用组件的每次推理成本及其工作负载量。由于这些流水线在严格的实时约束下运行,效率是系统可用性的基本前提。我们指出,这种结构产生了一个现有的针对单个模型的方法无法利用的效率攻击面:在相同的输入和预算条件下,具备路径感知能力的定向攻击能使 FLOPs 膨胀 $2,407$ 倍,而最强的单模型基线仅达到 $117$ 倍——这 $20$ 倍的差距完全归因于攻击的定向目标。我们将此形式化为对抗性路径选择问题,并提出了 AESOP,这是一个结合漏洞引导的路径排名与自适应损失加权的框架。我们在五个流水线以及一个包含批处理、有界缓冲和置信度阈值防御的生产级部署变体上评估了 AESOP。在白盒设置中,AESOP 实现了高达 $2,407$ 倍的 FLOPs 膨胀和 $419$ 倍的延迟膨胀;在灰盒设置中,则实现了 $58$ 倍的 FLOPs 膨胀和 $17$ 倍的延迟膨胀。在系统级防御下,攻击并未被中和,而是被转移:流水线被迫在吞吐量崩溃(从 $0.578$ 降至 $0.006$ 输入/秒)与为了维持吞吐量而承受 $96.7\%$ 的数据丢失之间做出选择。
查看原文
查看缓存全文

缓存时间: 2026/05/13 06:25

# AESOP:对抗性执行路径选择以压垮深度学习流水线

来源:https://arxiv.org/abs/2605.10987
查看 PDF (https://arxiv.org/pdf/2605.10987)

> 摘要:现代机器学习部署日益将专用模型组合成动态推理流水线,其中上游组件生成的中间预测决定了下游组件的工作负载和输入。因此,处理某个输入的成本并非由单个模型决定,而是由两个耦合因素决定:每个被调用组件的每次推理成本及其工作负载量。由于这些流水线在严格的实时约束下运行,效率是系统可用性的基本要求。我们证明,这种结构创造了一个效率攻击面,现有的针对单个模型的方法无法利用:在相同的输入和预算下,感知路径的定向攻击使 FLOPs 膨胀达 $2,407\times$,而最强的单模型基线仅实现 $117\times$ —— 这 $20\times$ 的差距完全归因于攻击的方向。我们将此形式化为对抗性路径选择问题,并提出了 AESOP,这是一个结合了漏洞引导的路径排名与自适应损失权重的框架。我们在五个流水线以及一个包含批处理、有界缓冲和置信度阈值防御的生产级部署变体上评估了 AESOP。在白盒设置中,AESOP 实现了高达 $2,407\times$ 的 FLOPs 和 $419\times$ 的延迟膨胀;在灰盒设置中,分别为 58$\times$ FLOPs 和 17$\times$ 延迟。在系统级防御下,攻击未被中和而是被重定向:流水线被迫在吞吐量崩溃($0.578 \to 0.006$ 输入/秒)与为维持吞吐量而承受 $96.7\%$ 的数据丢失之间做出选择。

## 提交历史

来自:Tingxi Li [查看电子邮件 (https://arxiv.org/show-email/9e326df8/2605.10987)] **[v1]** 2026 年 5 月 9 日 星期六 09:16:49 UTC (252 KB)

相似文章

FAPO: 多步骤LLM流水线的全自动提示优化

Hugging Face Daily Papers

FAPO是一个用于多步骤LLM流水线的全自动提示优化框架,结合了提示编辑和结构变化。在18次对比中,它在15次中优于GEPA基线,在安全任务上收益高达+33.8个百分点。

一步梯度延迟并非大规模异步流水线并行LLM预训练的障碍

Hugging Face Daily Papers

本文挑战了异步流水线并行中一步梯度延迟天生不稳定的假设,表明性能下降取决于优化器的选择。研究证明,Muon等优化器对一步延迟具有鲁棒性,并引入了一种基于误差反馈的修正方法以进一步缓解陈旧的梯度问题,在高达10B参数的LLM预训练中实现了接近同步训练的性能。

神经网络策略的对抗性攻击

OpenAI Blog

OpenAI 研究人员展示了对抗性攻击(先前在计算机视觉中研究过)对强化学习中的神经网络策略也同样有效,即使在白盒和黑盒设置中进行微小的难以察觉的扰动也会导致显著的性能下降。

面向仓库优化的上下文感知流水线合成

arXiv cs.AI

本文提出CASOP(上下文感知优化流水线合成与评估框架),用于仓库订单履约中优化流水线的上下文感知合成与评估,支持从模块化仓库中自动构建有效的算法流水线。

Ada-MK:基于自动化 DAG 搜索的 LLM 推理自适应 MegaKernel 优化

arXiv cs.CL

本文介绍了 Ada-MK,一种利用自动化基于有向无环图(DAG)的搜索来消除运行时分支并减少大语言模型(LLM)推理共享内存使用的自适应 MegaKernel 优化方法。通过集成到 TensorRT-LLM 中,该方法在 NVIDIA Ada GPU 上展示了显著的吞吐量提升,在商业广告系统中相比原生 TensorRT-LLM 性能最高提升 23.6%。