语法约束解码可诱使大语言模型生成恶意代码

Hugging Face Daily Papers 论文
grammar-constrained-decoding jailbreak code-generation safety-alignment llm-security malicious-code vulnerability

摘要

本文揭示，语法约束解码（GCD）可被利用为一种越狱攻击（CodeSpear），诱使大语言模型生成恶意代码，并提出一种防御方法（CodeShield），在此类攻击下仍能保持安全。

大型语言模型（LLMs）越来越多地被用于代码生成，这引发了人们对它们可能被滥用于生成恶意代码的担忧。与此同时，语法约束解码（GCD）已被广泛采用，通过强制语法有效性来提高LLM生成代码的可靠性。在本文中，我们揭示了一种反直觉的风险：这种面向可靠性的技术本身可能成为一种攻击面。我们发现了一种新的越狱攻击，称为CodeSpear，它利用GCD来诱使LLMs生成恶意代码。我们的实验表明，仅仅应用一个良性的代码语法约束就能有效地越狱LLMs。为了解决这一漏洞，我们提出了CodeShield，一种安全对齐方法，即使在攻击者控制的语法约束下也能稳健地保持安全行为。CodeShield通过教导模型在GCD下生成蜜罐代码来对齐代码模态。这种代码在语义上是无害的，因此不会实现恶意请求，并且在结构上是多样的，因此很难通过语法收紧来抑制。同时，当自然语言可用时，CodeShield仍然保留自然语言的拒绝。在4个基准测试的10个流行LLM上的实验表明，CodeSpear优于代表性的越狱基线，平均攻击成功率提高了30个百分点以上。CodeShield在CodeSpear攻击下恢复了安全性，同时保留了良性效用。我们的研究结果揭示了GCD的一个基本风险，并呼吁更加关注其潜在的安全影响。
查看原文
查看缓存全文

缓存时间: 2026/06/11 13:37

论文页面 - 语法约束解码可诱导LLM生成恶意代码实现越狱

来源：https://huggingface.co/papers/2606.11817 发布于6月10日

·

提交者https://huggingface.co/yitong42

zhang (https://huggingface.co/yitong42) 于6月11日

摘要

用于确保代码生成语法有效性的语法约束解码技术可被利用为攻击面，从而催生了一种名为CodeSpear的越狱方法和一种名为CodeShield的安全对齐方法。

大型语言模型（LLM）越来越多地用于代码生成，引发了其可能被滥用以生成恶意代码的担忧。与此同时，语法约束解码（https://huggingface.co/papers?q=Grammar-Constrained%20Decoding）（GCD）已被广泛采用，通过强制执行语法有效性（https://huggingface.co/papers?q=syntactic%20validity）来提升LLM生成代码（https://huggingface.co/papers?q=LLM-generated%20code）的可靠性。在本文中，我们揭示了一种反直觉的风险：这种面向可靠性的技术本身可能成为攻击面。我们发现了一种新的越狱攻击（https://huggingface.co/papers?q=jailbreak%20attack），称为CodeSpear（https://huggingface.co/papers?q=CodeSpear），它利用GCD诱导LLM生成恶意代码。我们的实验表明，仅施加良性的代码语法约束就能有效越狱LLM。为解决这一漏洞，我们提出了CodeShield（https://huggingface.co/papers?q=CodeShield），一种安全对齐（https://huggingface.co/papers?q=safety%20alignment）方法，能在攻击者控制的语法约束下稳健地保持安全行为。CodeShield（https://huggingface.co/papers?q=CodeShield）通过在GCD下生成蜜罐代码（https://huggingface.co/papers?q=honeypot%20code）来对模型进行代码模态的对齐。此类代码语义上无害（因此不实现恶意请求），结构上多样（因此难以通过收紧语法来压制）。同时，CodeShield（https://huggingface.co/papers?q=CodeShield）在自然语言可用时仍保留自然语言的拒绝响应。在10个流行LLM上跨4个基准的实验表明，CodeSpear（https://huggingface.co/papers?q=CodeSpear）优于代表性越狱基线，且平均攻击成功率提升超过30个百分点。CodeShield（https://huggingface.co/papers?q=CodeShield）在CodeSpear（https://huggingface.co/papers?q=CodeSpear）下恢复了安全性，同时保留了良性实用功能。我们的发现揭示了GCD的基本风险，并呼吁对其潜在安全影响给予更多关注。

查看arXiv页面（https://arxiv.org/abs/2606.11817）查看PDF（https://arxiv.org/pdf/2606.11817）GitHub3（https://github.com/TsinghuaISE/CodeSpear-CodeShield）添加至收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.11817）

在您的代理中获取此论文：

hf papers read 2606.11817

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

未找到与此论文关联的模型

在模型README.md中引用arxiv.org/abs/2606.11817可从本页链接。

引用此论文的数据集0

未找到与此论文关联的数据集

在数据集README.md中引用arxiv.org/abs/2606.11817可从本页链接。

引用此论文的Space0

未找到与此论文关联的Space

在Space README.md中引用arxiv.org/abs/2606.11817可从本页链接。

包含此论文的收藏集1

相似文章

针对黑盒大语言模型的受控解码攻击

Hugging Face Daily Papers

本文提出一个框架，通过纯文本续接接口对黑盒大语言模型实施越狱攻击，结合基于采样的分布重构、风险门控残差控制以及推测性多 token 执行，在不获取模型权重或 token 概率的情况下绕过安全对齐机制。

# 受约束解码：有害还是有益？重新审视其对 LLM 性能的影响

Hugging Face Daily Papers

本文重新审视了「受限解码会损害 LLM 推理能力」这一假设，通过理论分析与因果消融实验，对 11 个开源模型进行了检验。结果表明，其影响取决于约束的类型——格式约束、有效性约束与推理约束——其中有效性约束能够提升可靠性，而推理约束则有可能通过剪除无效路径来提高准确率。

MJ: 基于分解信用分配的多轮LLM越狱

arXiv cs.CL

本文提出了DC-GRPO，一种面向多轮LLM越狱学习的回合级信用分配框架，在多个基准测试中实现了超过98%的攻击成功率，优于现有方法。