论文页面 - 相同的字节，不同的权威：Chat 模板提示注入中的保留 Token 表征

Source: https://huggingface.co/papers/2609.35932

摘要

当被注入的指令被包裹在模型自身的聊天模板中时，针对 LLM 代理的提示注入攻击会变得更强。伪造的模板标记（例如 <|im_start|>）既可以作为单个保留控制 token 传入模型，也可以作为一系列普通子词 token 传入。两者解码出完全相同的文本，而且由于分词过程在服务器端运行，决定模型收到哪一种的是防御方而非攻击者。我们利用这一点来衡量注入指令的权威性有多少源自保留 token 的学习表征。将伪造标记编码为子词（保持文本内容不变，并对照控制由此额外增加的 token 数量）后，在四个开源模型家族中的三个上，InjecAgent 基准测试的攻击成功率降低了 39 到 66 个百分点，这一差距也延续到了 AgentDojo 的多轮代理任务上。在 Qwen3-8B 上，差距为 8 个百分点，因为即使没有保留 ID，模型仍能通过推理从文本中识别出伪造的回合；抑制推理过程后，差距扩大到 50 个百分点。权威性位于标记位置的单个学习向量上：标记的子词向量的均值无法复现它；最近普通 token 的向量在 Llama-3.1 上恢复了攻击效果；而搜索非保留标记的自适应攻击者在四个家族中的三个上找到了这样的嵌入邻居。在我们测试的每一个基础模型与指令微调模型的配对中，指令微调都强化了模型对保留标记的偏好。标准缓解措施——一个将特殊 token 编码为普通子词的分词器选项——仅适用于配置中声明为特殊的 token，因此在 67 个不同分词器配置中的 33 个（涵盖 Hugging Face 上 400 个下载量最高的聊天模型中的 255 个）中，它未能处理代理用于读取不可信工具输出的工具协议 token，而该渠道上的差距依然存在。

查看 arXiv 页面 (https://arxiv.org/abs/2609.35932) 查看 PDF (https://arxiv.org/pdf/2609.35932) 项目页面 (https://hf.co/collections/YanZhanPKU/byte-authority) GitHub1 (https://github.com/Byte-Authority/Byte-Authority) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.35932)

在你的代理中获取此论文：

hf papers read 2609.35932

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2609.35932 以从此页面链接它。

引用此论文的数据集 1

YanZhanPKU/Byte-Authority-Evaluation Viewer • 更新于约 4 小时前 • 177k • 1 (https://huggingface.co/datasets/YanZhanPKU/Byte-Authority-Evaluation)

引用此论文的 Spaces 0

没有 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2609.35932 以从此页面链接它。

包含此论文的收藏 1