编程示例中的固定集鲁棒性:示例损坏与语义分区恢复
摘要
本文研究了编程示例系统中的对抗鲁棒性,其中攻击者通过破坏输入输出示例来误导合成器。它引入了版本空间分区聚合(VPA)作为防御方法,并在多个基准上进行了评估,发现低间隔任务容易受到攻击,且仅当分区投票间隔得以保留时VPA才有帮助。
arXiv:2607.01280v1 公告类型:新
摘要:编程示例系统从少量输入输出示例中推断程序。鲁棒的PBE工作通常将错误示例建模为随机噪声过程的样本,然后最小化期望或经验损失。本文研究了一种不同的失效模式:攻击者观察到合成器后,选择那些损坏后对返回程序损害最大的示例。我们形式化了有限PBE版本空间的固定集最坏情况损坏,实现了字符串转换DSL的精确限池内搜索和启发式损坏搜索,并引入了版本空间分区聚合(VPA)——一种在不相交的示例组上进行合成并通过语义签名投票的防御方法。中心主张有意限定且部分否定:低间隔的PBE任务具有随机打字错误和噪声PBE评估所遗漏的对抗鲁棒性维度,而语义分区聚合仅在干净语义保持分区投票间隔时才有帮助,这在现实任务中往往失败。来自精心挑选/生成的DSL任务、已接受的公开SyGuS PBE_SLIA切片、SYNTRA Playgol v2以及噪声PBE目标基线的证据支持了这一界限。一次精心挑选的编辑翻转了所有8个尖峰任务,而200次试验的打字错误、DSL池和距离匹配的随机对照分别成功10.3%、11.0%和16.7%;生成的间隔为1的行在预算1下被翻转,但VPA恢复了它们;在公开SyGuS上,投票间隔接近1,因此自适应攻击者将VPA准确率降至零;已接受的公开SyGuS切片在精确池内预算边界上移动;Playgol在141个已接受行上显示与打字错误和同池随机对照相比的正配对自助差距。一个在20个受控间隔为1任务上的小型精确输出提示框架展示了跨本地和API模型的相同定性干净到攻击模式,同时这被视为范围检查,而非广泛的LLM基准。
查看缓存全文
缓存时间: 2026/07/03 05:39
# 编程示例中的固定集鲁棒性:示例污染与语义分区恢复 来源:https://arxiv.org/html/2607.01280 ###### 摘要 编程示例系统从少量输入-输出示例中推断程序。鲁棒的PBE研究通常将错误示例建模为来自随机噪声过程的样本,然后最小化期望损失或经验损失。本文研究一种不同的失效模式:攻击者能够看到合成器,并选择对返回程序破坏最大的示例进行污染。我们针对有限PBE版本空间形式化了固定集最坏情况污染,为字符串转换DSL实现了有界池内的精确污染搜索和启发式污染搜索,并提出了版本空间分区聚合(VPA)防御机制——该机制在不相交的示例组上进行合成,并通过语义签名进行投票。核心主张具有刻意限定的边界且部分是负面的:低裕度的PBE任务具有随机拼写错误和噪声PBE评估所遗漏的对抗鲁棒性维度,而语义分区聚合仅在干净语义能保持分区投票裕度时才有帮助,这在现实任务中常常失效。来自精心策划/生成的DSL任务、已接收的公共SyGuS PBE\_SLIA切片、SYNTA Playgol v2以及噪声PBE目标基线的证据支持了这一边界。一个精心策划的编辑就能翻转所有8个尖峰任务,而200次试验的拼写错误、DSL池和距离匹配随机对照的成功率分别仅为10.3%、11.0%和16.7%;生成的裕度-1行在预算1下即可被翻转,而VPA能恢复它们;在公共SyGuS上,投票裕度接近1,因此自适应攻击者将VPA准确率降至零;已接收的公共SyGuS切片会跨越精确池内预算边界;在141个已接收行上,Playgol展示了相对于拼写错误和同池随机对照的正向配对自举差距。一个在20个受控裕度-1任务上的小型精确输出提示框架在本地模型和API模型上显示出相同的干净到被攻击的定性模式,但这仅作为范围检查,而非广泛的LLM基准。 ## I 引言 编程示例(PBE)之所以有吸引力,是因为它将少量具体的输入-输出对转化为可执行的转换。电子表格用户、数据清洗工具、代码助手和LLM提示都依赖这一接口。这个接口也创造了一个小而高杠杆的攻击面。当PBE求解器只看到三到五个示例时,单个被污染的示例就能改变与规范一致的程序集合。如果错误的程序更简单、排名更高或得到剩余示例的更好支持,合成器就可能返回与污染示例完全一致但在未来输入上语义错误的代码。 现有的鲁棒PBE工作为噪声数据提供了重要工具。Handa和Rinard通过有限树自动机编码和损失/复杂度目标在噪声输入-输出示例上进行合成,然后在噪声源假设下形式化保证[14 (https://arxiv.org/html/2607.01280#bib.bib14),15 (https://arxiv.org/html/2607.01280#bib.bib15)]。Rose通过抽象精化加速了这一目标[16 (https://arxiv.org/html/2607.01280#bib.bib16)]。RobustFill训练神经PBE模型以容忍诸如拼写错误等现实I/O噪声[17 (https://arxiv.org/html/2607.01280#bib.bib17)],Raychev等人通过采样器和正则化生成器从噪声数据集中学习程序[18 (https://arxiv.org/html/2607.01280#bib.bib18)]。这些模型是自然的第一道防线,但它们优化的对象是从某个源抽取或从数据集中观察到的噪声。它们留下了固定集问题:一个知情攻击者在看到合成器后,会选择哪个小编辑?这种区别在部署工作流中至关重要。 FlashFill的原始论文从观察到超过5亿人使用电子表格开始,并描述了一个Excel插件,该插件从输入-输出示例中合成字符串转换[33 (https://arxiv.org/html/2607.01280#bib.bib33)]。Microsoft将PROSE描述为一个编程示例框架,它合成一组与示例一致的排名DSL程序[35 (https://arxiv.org/html/2607.01280#bib.bib35)]。在共享工作簿或数据整理笔记本中,用户可能修正几行,接受推断出的转换,并将其应用到下游记录,而无需阅读隐藏的程序。考虑一个按示例标准化支付记录的共享工作表。协作者或受攻击账户更改了一个输出,使得排名程序从保留账户后缀变为截断它,或者从一种日期解释变为另一种。可见的示例仍然可以看似合理,而错误的转换则传播到未见过的行。这里引用的案例是访问权限、风险级别和静默传播的类比,而非野外的PBE投毒报告:英格兰公共卫生报告称,15,841例COVID-19病例因报告管道问题而被延迟[25 (https://arxiv.org/html/2607.01280#bib.bib25)],美国参议院关于摩根大通伦敦鲸交易的报告记录了数十亿美元损失中的风险模型失败[26 (https://arxiv.org/html/2607.01280#bib.bib26)]。 LLM设置增加了一个并行的少样本攻击面。检索投毒工作表明,单个注入文本就能破坏RAG系统[22 (https://arxiv.org/html/2607.01280#bib.bib22)],PoisonedRAG报告称五个恶意文本的攻击成功率达到90%[23 (https://arxiv.org/html/2607.01280#bib.bib23)],而上下文内投毒表明演示可以引导模型行为[24 (https://arxiv.org/html/2607.01280#bib.bib24)]。PBE设置增加了一个精确的语义结构:示例定义了候选程序的有限或可枚举版本空间,攻击改变了该空间内的决策边界。 本文研究以下问题:*固定PBE示例集的最坏情况污染在何时会造成随机噪声PBE模型未能发现的失效,以及语义聚合在何时能够恢复?* 我们在一个刻意明确的范围内容回答。我们的原型实现了一个确定性字符串DSL、精确有界池内和启发式污染过程、一种语义分区聚合防御、公共SyGuS和Playgol评估,以及一个小型精确输出LLM-PBE提示框架。范围是字符串PBE加上精确输出LLM-PBE提示。FlashFill、PROSE、数据库查询和代码生成基准系列仍然是未来的评估目标。 ### I-A 运行示例 考虑一个小型PBE任务,从姓名格式的字符串中提取第一个标记: Ada Lovelace↦Ada,Grace Hopper↦Grace。 \`Ada Lovelace\`↦\`Ada\`,\`Grace Hopper\`↦\`Grace\`。 在标记DSL中,目标是"返回标记1"。一个看似合理的竞争对手是"返回标记2"。如果第二个输出被污染为 Hopper,则目标和竞争对手各满足一个训练示例。确定性平局打破机制现在可能选择竞争对手,合成为序在 Alan Turing 上返回 Turing。这种污染很小、局部化,且在语义上看似合理:该行仍然包含来自输入的一个标记。它也是针对性的。在 Grace 上的随机拼写错误不太可能让第二个标记程序获胜。这个例子有意简单。实现的攻击使用更大的候选池和留出语义评分,但相同的机制驱动着实验。 策略性污染会寻找替代方案,将质量从目标程序转移到竞争对手程序。随机噪声基线独立于这一版本空间目标扰动示例。VPA改变了决策单元:它在不相交的分区上进行合成,并询问独立合成的候选程序是否仍然投票给相同的语义。 核心的技术思想是推理PBE版本空间中的裕度。对于干净的目标程序 p⋆ 和竞争对手 q,只有 p⋆ 和 q 存在分歧的示例才能区分两者。将足够多这样的输出更改为与 q 匹配,使得 q 在损失最小化下平局或击败目标。这给出了一个攻击配方,也解释了为什么许多公共示例天生具有鲁棒性:多样的示例增加了分歧裕度。 防御机制,版本空间分区聚合(VPA),利用相同的结构但方向相反。它将示例划分为不相交的组,每组合成一个候选程序,在有限投票域上评估这些候选程序,并选择最大的语义签名集群。防御是有条件的。如果目标语义能保持投票裕度,VPA就是稳定的;如果污染控制了分区多数,VPA可能失败。实验包含了这两种结果。 结果支持三个主张。第一,最坏情况污染是一个独立的PBE鲁棒性问题。在一个精心策划的脆弱性尖峰上,一次策略性输出编辑将留出准确率从1.000降至0.000,而拼写错误(0.103)、同池(0.110)和距离匹配(0.167)随机基线很少成功。在受控生成任务上,所有裕度-1任务都可翻转,而裕度-2或裕度-3任务能抵抗预算-1攻击。第二,攻击搜索是一个真正的算法问题。对于裕度-2和裕度-3任务,有界精确预算-2搜索成功,而贪婪单步搜索失败;宽度为32的波束搜索在测量范围内与有界精确搜索匹配。第三,语义聚合仅在狭窄范围内有帮助,在现实任务上基本不足。VPA恢复了所有被攻击的生成裕度-1任务,并在Playgol上保持了0.922的平均被攻击准确率,但在公共SyGuS上,干净投票裕度接近1(认证半径接近0),因此知道分区和投票域的自适应攻击者将VPA准确率降至0.000。 本文做出四项贡献。它给出了固定PBE示例集的最坏情况污染模型,攻击成功通过留出或有界语义准确率衡量。它实现了输出编辑的有界池内精确和启发式污染搜索,以及输入编辑、注入和删除的有限搜索。它引入VPA作为语义感知的版本空间模拟分区聚合,具有直接投票稳定性证书和明确的预算行条件。它为报告中的评估固定了种子、资源防护、公共基准来源、生成的论文表格以及已知限制的冻结记录。 E⋆ 干净示例 H 版本空间 对手 预算 k Ê 最坏情况 污染 S(Ê) 竞争程序;留出 错误 Ê 防御 输入 不相交组 每组 合成 σV 对 V 投票 恢复 或 失败 图1:威胁模型和VPA概述。攻击搜索一个预算为 k 的污染,使合成器选择语义错误的竞争对手。VPA将决策改为分区级语义投票,仅当目标签名保持最大集群时才能恢复。 ## II 问题 ### II-A 固定集污染下的PBE 设 H 为DSL定义的假设空间,p⋆ ∈ H 为预期程序。干净示例集为 E⋆ = {(xi, p⋆(xi))}i=1n。确定性合成器返回 S(E) = argmin p∈H (ℓE(p), c(p), τ(p)),其中 ℓE 是训练损失,c 是简洁性代价,τ 是固定平局打破顺序。攻击者有预算 k,最多更改 k 个示例以产生 Ê。原型实现了有界候选集上的输出污染、输入污染、示例删除和示例注入。攻击成功通过留出输入上的语义准确率或有界有限语义域上的准确率来衡量。攻击者对 H、S 和候选生成过程是白盒的。这是针对公共或易模仿的PBE系统的正确模型,也是工作流中示例来自不可信文件或检索上下文的保守模型。攻击者保持最终测试输入不变,而更改诱导程序的示例。 两个建模选择值得明确。首先,攻击是针对预期程序衡量的;污染示例是合成器的对抗输入。成功的攻击可以返回一个与污染训练集完全一致的程序。其次,顶层预算计数的是示例行。这与常见的PBE交互相匹配:行、示例或演示是用户或上游源提供的单位。字符级距离仍被用于某些候选生成器和噪声基线内部,但攻击者的顶层预算计数的是接触过的示例。 ### II-B 为什么随机噪声不足 噪声PBE目标要求求解器在假设、学习或经验噪声模型下权衡数据拟合和复杂度。当用户拼写错误独立或噪声数据来自稳定过程时,同一目标可能是合适的。固定集攻击有不同的量词顺序:minS maxÊ: d(E⋆,Ê)≤k err(S(Ê), p⋆)。最大化是在策略选择的少量污染上进行的。单个编辑可能比典型拼写错误更具破坏性,因为它针对的是两个程序之间的低裕度边界。噪声PBE基线仍然是最重要的比较。原型在相同的有界有限版本空间上实现了 Handa-Rinard 风格的损失/复杂度目标。关键在于期望损失鲁棒性和固定集最坏情况鲁棒性回答的是不同问题。 ### II-C 裕度直觉 对于程序 p⋆ 和 q,定义干净训练分歧集 ΔE(p⋆,q) = {i: p⋆(xi)≠q(xi)} 及其大小 μE(p⋆,q)。合成器按字典序排序候选:(ℓE(p), c(p), τ(p)):训练损失、简洁性代价和确定性平局打破键。对于固定的竞争对手 q,定义成对目标污染阈值 κE(p⋆,q) = min{k ≤ μE: (μE−k, c(q), τ(q)) ⪯ (k, c(p⋆), τ(p⋆))}。如果集合为空,则该对无法通过此目标输出构造被翻转。原型使用的有界池证书为 κEC(p⋆) = min q∈C, sem(q)≠sem(p⋆) κE(p⋆,q),然后在构造的污染集上执行 S。 ###### 定理1(代价感知的目标污染阈值)。固定 p⋆, q ∈ H 和确定性求解器顺序 (ℓ,c,τ)。如果预算为 k 的输出攻击将 ΔE(p⋆,q) 中的 k 个示例更改为 q 的输出,那么 p⋆ 在污染集上的训练损失为 k,q 的训练损失为 μE(p⋆,q)−k。竞争对手 q 在成对求解器顺序中平局或击败 p⋆ 当且仅当 k ≥ κE(p⋆,q)。在相等代价且无目标偏袒的平局打破下,这简化为跨越分歧裕度的一半。证书有意有界。它识别生成候选池中的易受攻击竞争对手,然后验证实际求解器行为。相似文章
崎岖前沿:评估代码代理对语义保持转换的鲁棒性
本文评估了当代码库受到语义保持转换干扰时,AI代码代理的鲁棒性,揭示了一个崎岖的前沿,其中模型性能在不同的框架和基准测试中不可预测地变化。
压力下的风险:语言模型对抗鲁棒性的计算感知评估
本文提出了一种针对LLM对抗鲁棒性的计算感知评估框架,提出了基于FLOPs的风险-计算曲线和度量指标,以更好地评估攻击成本,发现对齐训练具有非单调效应,且计算成本因模型和危害类别而异。
通过组合界限与安全持久性实现LLM安全的经认证多轮鲁棒性
本文介绍了多轮经认证鲁棒性(MTCR),一个通过组合方法和安全持久性提供更紧界限来认证大型语言模型针对多轮越狱攻击安全性的框架。
基于概率鲁棒性的可解释通用对抗性扰动针对基于深度强化学习的入侵检测系统
论文提出PX-UAP方法,该方法结合概率鲁棒性与可解释人工智能,生成针对基于深度强化学习的入侵检测系统的通用对抗性扰动,并在实验中展示了攻击有效性的提升。
可解释却脆弱?概念瓶颈模型在几何-语义扰动下的鲁棒性
本文提出一种基于生成器的评估框架,用于研究概念瓶颈模型和基于原型的模型在几何-隐变量扰动与语义-概念扰动下的响应差异,论证了可解释性本身并不天然带来鲁棒性,而只是将敏感性重新分配到了不同的扰动空间中。