AI水印使用时，大型语言模型对有害提示的响应差异

Ars Technica 新闻
ai-watermarking llm-security harmful-prompts adversarial-attacks sampling-drift

摘要

研究发现，AI文本水印改变了语言模型对有害提示的响应，可能增加对对抗攻击的脆弱性并影响智能体行为。

<p>为了响应一项新的欧盟法律，AI平台正在实施新的计划，为它们生成的内容添加水印。Anthropic最近透露，其未来的Claude模型将使用SynthID-Text，这是一种由Google创建并开源的方法。它使用一个秘密密钥，微妙地改变模型选择句子中下一个单词的过程。原本可能选择的下一个单词是“cloudy”，密钥可能会将其改为“overcast”。任何知道密钥的人都可以确定内容是否由使用该密钥的平台生成。</p><p>新研究表明，SynthID-Text不仅改变单词选择，还改变模型调用的工具以及它遵守或忽略所训练安全护栏的几率。在面对对抗性提示时，威胁可能更大，攻击者试图导致模型执行有害操作，例如泄露密码或其他敏感信息。在某些情况下，一旦部署了水印，原本不会被遵循的指令将会被执行。这一发现强调了开发者需要彻底测试当水印启用时，他们的大型语言模型和智能体如何行为。</p><h2>改变安全行为</h2><p>“与相同模型但未使用水印相比，它肯定会改变它们的行为，特别是当我们将其置于对抗条件下，或让这些模型在驱动智能体时调用工具，”Lasso Security的AI安全研究员Andrea Siposova告诉Ars。“水印设计为读者不可感知，但我们知道，当我们改变模型生成的任何内容时，都会导致一些权衡，并在某处显现。”</p><p><a href="https://arstechnica.com/security/2026/09/ai-text-watermarking-can-make-models-more-vulnerable-to-adversarial-prompts/">阅读全文</a></p><p><a href="https://arstechnica.com/security/2026/09/ai-text-watermarking-can-make-models-more-vulnerable-to-adversarial-prompts/#comments">评论</a></p>
查看原文
查看缓存全文

缓存时间: 2026/09/18 06:14

# AI文本水印可能使模型更易受对抗性提示攻击 来源：https://arstechnica.com/security/2026/09/ai-text-watermarking-can-make-models-more-vulnerable-to-adversarial-prompts/ [](https://cdn.arstechnica.net/wp-content/uploads/2026/09/standard-vs-watermarked-text-generation.png) 标准文本生成与水印文本生成对比图 图片来源：Lasso Security 标准文本生成与水印文本生成对比图。图片来源：Lasso Security SynthID的关键特性是被称为**锦标赛采样**(https://nishbhana.com/glossary/tournament-sampling/)的机制。类似体育竞赛，SynthID会评估大量候选的下一个词元。系统使用密钥为这些词元分配概率分数。每对词元在一轮比赛中竞争，隐藏分数更高的词元获胜并晋级下一轮。此过程持续进行直至确定最终获胜词元。更多关于锦标赛采样的信息可参见[此处](https://arstechnica.com/security/2026/09/ai-text-watermarking-can-make-models-more-vulnerable-to-adversarial-prompts/%E2%80%8B%E2%80%8Bhttps://landauai.com/ai-text-watermarking-how-synthid-works-who-uses-it-what-it-means-for-your-work/)和[此处](https://claudewatermarkremover.dev/blog/synthid-tournament-sampling-explained)。 Siposova通过Hugging Face未修改的SynthIDTextWatermarkLogitsProcessor (https://huggingface.co/docs/transformers/v4.46.0/en/internal/generation_utils#transformers.SynthIDTextWatermarkLogitsProcessor)测试了SynthID-Text的"非失真"配置。她向六个开源模型输入有害提示，并对比了使用水印与未使用水印时的响应差异。实验表明水印技术会改变模型对有害请求的响应，尤其当请求采用提示注入技术时。 "水印技术改变了模型对裸有害请求的拒绝行为，但当相同请求结合提示注入技术时，这种效应更为显著，" Siposova写道，"在多个模型中，水印技术会使模型更可能回答那些原本会被拒绝的有害请求。" 这种变化具有重要的安全影响，因为它不仅影响大语言模型的响应，还会影响依赖该模型的AI智能体的后续操作。 "在模型层面，这可能改变安全行为，包括模型是否拒绝有害请求，以及这种拒绝在提示注入情况下是否仍然有效，"研究员写道，"在智能体层面，相同的采样词元可能决定调用哪个工具及传递何种参数。提示注入连接了这两个场景，因为当模型还能通过工具执行操作时，弱化的拒绝将产生更严重的后果。因此，水印程序可能同时影响模型的输出内容和智能体的行为动作。我们将这种行为效应称为采样漂移。" 同样值得注意的是：模型响应会因使用不同的密钥而表现各异。 [](https://cdn.arstechnica.net/wp-content/uploads/2026/09/Paired-tool-call-disagreement.png) 水印技术改变了单个工具调用的正确性，其影响有时远超过整体准确率评分所显示的程度。 图片来源：Lasso Security 水印技术改变了单个工具调用的正确性，其影响有时远超过整体准确率评分所显示的程度。图片来源：Lasso Security [](https://cdn.arstechnica.net/wp-content/uploads/2026/09/Changes-in-tool-calling-errors.png) 本图展示了水印技术导致的工具调用错误类型变化。垂直线表示未使用水印时的准确率，条形表示应用水印后的变化幅度。橙色表示从正确变为错误的变化，蓝色表示从错误变为正确的变化。 图片来源：Lasso Security 本图展示了水印技术导致的工具调用错误类型变化。垂直线表示未使用水印时的准确率，条形表示应用水印后的变化幅度。橙色表示从正确变为错误的变化，蓝色表示从错误变为正确的变化。图片来源：Lasso Security [](https://cdn.arstechnica.net/wp-content/uploads/2026/09/Change-in-attack-success-under-eleven-watermark-keys.png) 密钥变更对模型行为的影响。每个点代表一个密钥。位于零点右侧的点表示与无水印相比，有害顺从行为增加；位于左侧的点表示顺从行为减少。橙色点代表另外10个密钥，黑色菱形代表主实验中使用的密钥（随机选择）。 图片来源：Lasso Security 密钥变更对模型行为的影响。每个点代表一个密钥。位于零点右侧的点表示与无水印相比，有害顺从行为增加；位于左侧的点表示顺从行为减少。橙色点代表另外10个密钥，黑色菱形代表主实验中使用的密钥（随机选择）。图片来源：Lasso Security 本研究存在局限性。它未测试Claude模型响应在水印技术下的变化，而是测试了六个开源模型，因此研究员能够在保持其他设置不变的情况下，在锦标赛采样过程中启用或禁用词元采样。实验还测试的是Hugging Face对SynthID-Text锦标赛采样功能的实现，而非Claude模型将使用的具体实现方式。 尽管如此，结果表明至少某些形式的水印技术可能影响模型和智能体的安全性。对于红队攻防演练而言，确保平台在SynthID部署时能按预期运行将至关重要。

相似文章

深入理解LLM水印技术对AI代理行为的影响

Hacker News Top

本文分析了LLM水印技术，特别是SynthID-Text，如何通过引发采样漂移影响AI代理行为，进而影响模型拒绝和工具调用，对AI安全与法规合规带来影响。