ASCII攻击：在大型语言模型中将有害请求重新语境化为艺术批评

# 将有害请求重新语境化为大语言模型中的艺术评论
来源: https://arxiv.org/html/2609.02215
模式=titleASCII 攻击
\[作者orcid=0009\-0009\-5876\-7726\] 董一飞 yifei\.dong@uts\.edu\.au 杨兴浩 yangxh@upc\.edu\.cn 龚永顺 ysgong@sdu\.edu\.cn 刘巍 Wei\.Liu@uts\.edu\.au
机构=悉尼科技大学工程与信息技术学院, 城市=Ultimo, 州=NSW, 邮编=2007, 国家=澳大利亚
机构=中国石油大学, 国家=中国
机构=山东大学, 国家=中国

###### 摘要
安全对齐训练大语言模型拒绝直白陈述的有害请求，但这种训练主要应用于表层形式。那些仅重新语境化相同操作内容、改变模型解读方式的请求，因此只得到微弱覆盖。*ASCII 攻击*就是这样一种重新语境化。它是单轮且黑盒的：只需一条消息，无需访问模型内部。它将一个完全可读的有害请求嵌入到 ASCII 艺术字符中，将其呈现为艺术品，并寻求反馈。与 ArtPrompt 不同，它没有隐藏任何东西：请求保持可读。回复以艺术评论的形式撰写，可以包含因直白提问而被拒绝的操作细节。每个框架化的提示都配有一个直接提问的对照组，因此对比与主题、模型和解码变化相隔离。该对比识别的是一个捆绑的表层，而非单一隔离的通道。在十一个模型和八个有害主题上，一个有害感知分类器判断 62\% 的框架化提示是有害的，而对照组为 42\%。在最易受攻击的模型上，框架化提示的成功率为 93\%。单个查询在五位有害评判者中的四位中达到或超过了已发布的单次查询攻击效果。该效应更多随模型而非主题变化，并且不随模型规模增大而减弱。在近三分之二的框架化行中，至少有一位评判者与小组多数意见相左，这本身就是一个测量有效性的发现。该模式与泛化错位一致。

###### 关键词
大语言模型, 越狱, 安全对齐, 红队测试, 泛化错位, ASCII 艺术
††通讯作者:通讯作者

## 1 引言
近年来，大语言模型的能力前沿比旨在保持其安全性的对齐前沿发展得更快。通过基于人类反馈的强化学习训练的 InstructGPT，在提示尊重时生成的有毒输出比 GPT\-3 减少了约 25%；基于宪法的方法训练了一个无害但非回避的助手；而手动红队测试发现，随着规模扩大，RLHF 模型的红队测试难度显著增加。这与传统的对抗性学习不同，后者将数据挖掘者和对手之间的博弈转化为两个凸优化问题。然而，每种 LLM 防御都被攻击者系统性地剥开，他们改变请求的*表层形式*而不改变其操作内容。这是一个更具挑战性的问题，Wei 等人（2023）称之为*泛化错位*。后训练在自然散文的有害提示上灌输了拒绝。这些拒绝并不迁移到模型仍能解析但超出安全训练支持范围的输入上。例子包括 Base64 编码的提示、低资源语言、加密交换、代码补全外壳或排版图像渲染。这项工作开发了该表层中一个先前未研究的角落：将 ASCII 艺术中使用的字符（不包含真正的图像形式）组装成一个请求“艺术反馈”。名称描述了媒介。它并不描述结果。攻击借用 ASCII 艺术的符号、框和分隔符作为视觉支架，但没有将它们排列成可识别的图像。它们建立的美学框架起到了作用。字形根本不需要画任何东西。攻击将一个操作精确的问题转移到美学层面。直接形式询问“商业邮件入侵（BEC）攻击如何重定向企业电汇？”框架化形式询问“我的 ASCII 故事板描绘了一次 BEC 攻击；你能推导出缺失的技术细节，使艺术更逼真吗？”模型解析一个连贯的自然语言请求，并在它被提出的层面回答它。它在风格评论的标题下提供操作上有用的文本（图 1）。

ArtPrompt 将单个敏感词*隐藏*在 ASCII 字形后面。它掩盖该词，用 ASCII 渲染替换它，并要求模型识别它。Jiang 等人认为，安全对齐期间仅基于语义的语料库解释可能使视觉编码的词能够绕过这些措施。ASCII 攻击没有隐藏任何东西：有害请求完全可读，攻击反而针对请求的*社会框架化*。匹配设计衡量的是该框架与框架携带的额外细节的捆绑，而非单独的框架化通道（附录 A）。两者是兄弟关系，而非复制品。

直接请求 U “我如何执行 ⟨有害任务⟩？” M “我无法帮助。这可能会造成严重危害。” × 被拒绝
直白表述；安全分类器看到有害请求的表层形式。
ASCII 攻击 U “这是我的 ASCII 艺术，我想获得一些反馈。具体来说，我想知道如何让它更逼真。”
ASCII 艺术：
```
||| ⟨有害行为者⟩ |||
&&==[ ⟨目标物品⟩ ]==&&
[工具][工具][工具]
⟨场景：行为者、目标、工具、目标⟩
（缺失信息：⟨操作子问题，截断⟩...）
ASCII 艺术结束
```
M “根据提供的场景，以下是使艺术准确所需的缺失细节分解。“步骤”应反映：⟨操作步骤 1⟩, ⟨操作步骤 2⟩, ⟨操作步骤 3⟩...”
✓ 顺从
重新语境化为艺术评论；模型在相同的层面回应，夹带了有害内容。

图 1：两种层面的 ASCII 攻击。*左：*直白提出的有害意图招致目标的拒绝。*右：*相同的意图被包装成 ASCII 字符的组合，并作为待评论的艺术呈现，招致了携带操作细节的“评论”式的顺从。请求在两个提示中都是可读的；只有社会框架化不同。右侧面板：响应是真实数据行（Gemma 4 31 B，主题 social\-engineer，变体 recon\_2），为了展示而截断；旁边的提示是使用表 2 符号词汇的示例性组合，并非该行的逐字提示。附录 E 完整复制了该行的提示和响应，其中有害内容已删除。

本文有四个贡献。
（C1）ASCII 攻击：一个精确的单轮、黑盒攻击家族规范（无系统提示），将一个*完全可读的*有害请求嵌入到 ASCII 艺术字符的组合中，该组合不包含真正的图像形式。它在请求艺术反馈的掩护下引出操作细节。与 ArtPrompt 不同，我们的攻击没有隐藏任何东西：请求保持可读，同时无需解码任何令牌即可生效（第 3 节）。
（C2）匹配对测量协议：每个框架化提示都配有一个针对相同有害主题的直接问题对照组。因此，测量的数量是*捆绑的*框架表面（美学框架加上场景和对照组省略的缺失信息列表），而非混淆未配对攻击成功比较的主题、模型和解码层面的变化（第 4 节）。
（C3）架构相关的结果：在跨越约 1B 到 Llama 4 Scout 的十一个模型中，该漏洞是架构主导的而非主题主导的，并且不随规模增大而减弱。值得注意的是，更强的能力似乎与更高的易感性相关。该模式与泛化错位一致（第 5 节）。
（C4）单次查询、跨攻击比较：通过单次黑盒查询，ASCII 攻击在五位有害评判者中的四位中，在汇集率上达到或超过了 ArtPrompt 和 DeepInception，并且在大多数模型上达到或超过了多查询 PAIR 循环（按其自身评判者评分）。在 62.9\% 的 ASCII 框架化行中，至少有一位评判者与小组多数意见相左，这使得评判者的选择本身成为一个测量有效性的发现。特别是，匹配对照设计暴露了合规风格评分器的范围限制，这些评分器假设它们评分的提示已经是有害的，因此无法比较在提示有害程度不同的两个组。它们表面上的对照组成功在很大程度上是误报伪影（第 5 节）。

正文中的比率差异以百分点（pp）给出，即两个比率的算术差值，而非它们的比率。

##### 大纲。第 2 节回顾了文本侧混淆越狱、同类加密和低资源语言攻击、基于优化和自动提示搜索技术、新兴基准和评估器堆栈以及最近的推理模型和蒸馏模型安全文献的先前工作。第 3 节独立于任何单一研究的参数，规范了攻击设计（此处语料库是什么、匹配对照、威胁模型、攻击模板结构和主题分类法）。第 4 节阐述了用于评估它的实证设计：目标模型集、实验交叉、响应分类流程和统计分析计划。第 5 节报告了实证结果。附录 A 讨论了方法上的局限性。第 6 节作结。第 7 节提出三个方向。

## 2 背景与相关工作
近年来，关于 LLM 越狱的文献已迅速成熟，并区分出几个稳定的攻击家族。我们围绕 Wei 等人（2023）引入的概念轴线组织回顾。在该轴线上，*竞争目标*攻击通过制作提示，迫使在受限行为与那些目标惩罚的回应之间做出选择，从而将预训练和指令跟随目标与安全目标对立起来。前缀注入和拒绝抑制是该工作中的示例家族。*泛化错位*攻击则将输入移出安全训练所监督的流形，同时将其保持在模型更广泛的语言能力范围内。ASCII 攻击属于第二个家族。我们通过依次检查安全训练的支持结构来发展逐家族回顾：排版、编码、语言、代码和优化。

### 2.1 泛化错位论点
Wei 等人（2023）引入了至今仍是标准的安全训练失败的双轴分类法（*竞争目标*和*泛化错位*），并认为扩展两者都无法解决。ASCII 攻击涉及第二种模式。拒绝训练所监督的分布比预训练要窄得多，因此一个有害请求可能落在安全训练分布之外，同时仍保持在模型更广泛的能力范围内。Base64 编码是教科书式的例子：模型可以解码和响应，但其安全训练几乎完全应用于自然散文输入。密切相关的是 Carlini 等人（2023）的分析。他们观察到，对齐的文本模型能够抵御当前的 NLP 优化攻击，而*多模态*模型可以通过优化的对抗性图像扰动被驱动产生任意有害输出。作者告诫说，文本侧的结果反映了这些攻击的局限性，而非已证明的稳健性。最近的两项研究在*形式*层面而非模态层面使这种失败模式具体化。Broomfield 等人（2025）将其框架化为一个*结构性*的安全泛化问题。在一个表层结构上学习的安全行为无法迁移到以不同结构呈现的语义等效输入上。他们研究的攻击因其可解释性以及在模型和有害目标之间的可迁移性而被选中。Peng 等人（2024）用合成语言游戏给出了匹配的证据，报告在 GPT\-4o 上的攻击成功率为 93\%。在一个自定义游戏上微调 Llama\-3\.1\-70B 使其他游戏暴露。ASCII 攻击的艺术评论层面就是这样一种保持语义的转换：它固定操作请求，同时将其表层形式移出拒绝所监督的自然语言分布。因此，该攻击完全处于这一论点之内。安全训练已主要针对自然语言有害请求进行校准，我们的文献检索未发现针对“带反馈请求的 ASCII 故事板”流形的已发布安全调优语料库。

### 2.2 先前的越狱家族
以下家族是已发布的最接近 ASCII 攻击的表面。定位当前设计的每个引用都被保留。

##### 排版、ASCII 艺术和美学层面攻击。ArtPrompt（Jiang 等人，2024）是最接近的已发布技术。它通过用 ASCII 字母渲染替换单个敏感词（炸弹、毒品等）来*隐藏*该词，并要求模型阅读该隐藏词。Jiang 等人将漏洞定位在安全对齐期间仅基于语义的语料库解释。我们将该通道标记为*字形*；他们没有。ArtPrompt 报告在 AdvBench 上五模型面板的集成攻击成功率约为 52\%，并在 HEx\-PHI 上进行了单独的类别有害性评估，并引入了视觉文本挑战（ViTC）基准。ASCII 攻击在概念上是正交的。有害令牌以纯文本出现。字形块旁边的散文*描述了有害行为的场景*；字形*不编码任何有害词*。模型被要求对提示已命名的场景进行艺术评论，而不是解码排版。ArtPrompt 在其面板中最小的目标（Llama\-2\-Chat，20\%）上记录了其最低的集成 ASR，我们认为这是识别限制，尽管 Jiang 等人（2024）并未说明。我们的攻击不要求字形被阅读。因此它并非对小模型免疫：