迟一步：多轮对话中隐藏恶意意图的响应感知防御

# 慢了一步：面向多轮对话中隐藏恶意意图的响应感知防御
来源：https://arxiv.org/html/2605.05630 [^1]

Xinjie Shen1\*, Rongzhe Wei1\*, Peizhi Niu2\*, Haoyu Wang1, Ruihan Wu3, Eli Chien4, Bo Li2,6, Pin-Yu Chen5, Pan Li1

1Georgia Institute of Technology,2University of Illinois Urbana-Champaign, 3OpenAI,4National Taiwan University,5IBM Research,6Virtue AI

\{xinjie, rongzhe.wei, haoyu.wang, panli\}@gatech.edu, \{peizhin2, lbo\}@illinois.edu,[email protected], [email protected],[email protected]

[^1]: 标注为\*的作者对本文贡献相同。

###### 摘要

多轮对话中的隐藏恶意意图对已部署的大型语言模型（LLM）构成了日益增长的威胁。能力日益增强的攻击者不再在单次提示中暴露有害目标，而是可以将意图分布在多个看似良性的轮次中。最近的研究表明，即使在安全对齐和外部护栏取得进展的情况下，现代商业模型仍然容易受到此类攻击。在这项工作中，我们通过检测最早的那一轮——即在该轮次中，交付候选响应会使累积的交互足以促成有害行为——来应对这一挑战。这一目标需要精确的轮次级别干预，在识别出促成危害的闭合点的同时，避免对良性的探索性对话过早拒绝。为了进一步支持训练和评估，我们构建了多轮意图数据集（MTID），其中包含分支攻击展开、匹配的良性硬负样本以及最早促成危害的轮次标注。我们展示了MTID有助于实现轮次级别的监控器TurnGate，它在保持低过度拒绝率的同时，在有害意图检测上大幅优于现有基线。TurnGate还能跨领域、攻击流水线和目标模型进行泛化。我们的代码可在 https://github.com/Graph-COM/TurnGate 获取。[^2]

[^2]: 项目网站：https://turn-gate.github.io/

## 1 引言

大型语言模型（LLM）越来越多地部署在高风险场景中，涵盖科学研究（Lu等人，2024）、网络安全（Sheng等人，2025）和医疗咨询（Kim等人，2024），这使得防止滥用成为核心安全挑战。近期在模型推理、安全对齐和外部护栏方面的进展，使得前沿系统在拒绝显式有害请求方面更加有效（Ouyang等人，2022；Bai等人，2022；Inan等人，2023；Zhao等人，2025）。然而，这些改进也改变了攻击的实施方式：攻击者不再在单次提示中陈述有害目标，而是可以将目标分散在一系列看似良性的轮次中（Russinovich等人，2025；Yang等人，2025；Wei等人，2025a）。因此，防御挑战不再仅仅是判断单个轮次是否安全，而是要确定整个对话何时足以促成危害。例如，追求被禁止的爆炸物相关目标的用户，可能先从询问前体材料开始，接着询问反应条件，然后再询问纯化或其他技术细节；每个请求单独看来可能无害，尽管整个对话逐渐积累了完成有害目标所需的信息（Wei等人，2025b；Srivastav和Zhang，2025；Li等人，2024）。我们将此问题形式化为多轮对话中的恶意意图检测，防御者必须识别可能从对话语境中浮现的恶意意图，而非仅凭单个轮次。解决这一问题刻不容缓，因为近期评估表明，即使是最先进的商业模型，面对多轮攻击策略仍然脆弱（Guo等人，2025；Ren等人，2024；Brown等人，2025）。

![图1：多轮对话中的恶意意图检测。同样的看似良性的轮次序列，可能来自非对抗用户（左），也可能来自将有害目标分散到各轮次的攻击者（右）。理想的防御者根据对话历史和候选响应进行判断，并在交互足以促成危害的最早轮次进行干预。过早干预会带来过度拒绝风险，而过晚干预则会错过关键干预点。](https://arxiv.org/html/2605.05630#S1.F1)

防御多轮对话中的隐蔽恶意意图，需要历史感知的、细粒度的轮次级别干预。关键决策在于识别最早的那一轮——即在该轮次中，交付候选响应会使累积的交互足以促成滥用（图1）。这一区分至关重要，因为未能在此点干预会让攻击者获得足够信息采取行动，而过早干预则会导致对意图仍然良性的用户不必要的过度拒绝。据我们所知，现有方法无法达到这种粒度。标准护栏和主流对齐方法主要评估单个请求或响应的策略合规性，在多轮攻击下基本失效（Ouyang等人，2022；Bai等人，2022；Inan等人，2023；Zhao等人，2025）。审慎对齐（Deliberative Alignment）可以在更丰富的多轮语境中进行推理（Guan等人，2024），但模型仍然主要基于对话级别标签进行训练，容易受到自适应多轮攻击（Wei等人，2025b）。基于提示的多轮监控器可能更为受限，尤其是当它们仅依赖用户查询时（Yueh-Han等人，2025）。关键在于，准确的防御可能需要访问目标模型的候选响应：相同的查询序列，如果模型仅提供高层次指导，可能仍然安全；但若候选响应提供了完成攻击的可操作细节，则可能变得有害。因此，仅基于查询的防御面临固有局限：由于无法根据目标模型即将透露的内容进行条件判断，它们无法区分应当被阻止的情况与在拒绝或高层次指导下仍然安全的情况。结果，它们要么保守干预并导致更高的过度拒绝率，要么过于宽松并错过有害闭合点。

为了实际实现这一目标，我们引入了TurnGate，一个在交付前检查每个候选响应并做出轮次级别干预决策的监控器，用于恶意意图检测。为了训练和评估，我们构建了*多轮意图数据集*（MTID），该数据集来源于针对前沿商业模型的自适应攻击展开，并配有针对过度拒绝的匹配良性对话以及最早促成危害轮次的显式标注。我们通过首先在细粒度轮次级别标签上微调Qwen3-4B，然后利用轮次级别过程奖励进行多轮强化学习进一步优化，来训练TurnGate。这一目标鼓励对闭合点的精确检测，从而能够及时干预并最小化过早拒绝。在离线评估和针对自适应攻击者的闭环在线对抗中，TurnGate在安全性与效用之间的权衡上优于仅依赖响应的基线，减少了过度拒绝，并跨领域、攻击流水线和目标模型表现出泛化能力。

## 2 相关工作

现代防御护栏。现代安全系统和护栏（Muhaimin和Mastorakis，2025；Zhao等人，2025；Inan等人，2023）主要设计用于单独对提示或模型输出进行分类。虽然通过专门对齐（Zou等人，2024）在捕捉显式恶意意图（Modzelewski等人，2026；Zhang等人，2025a）方面有效，但这些方法在单个话语或响应级别操作，并未显式建模恶意意图如何在持续对话中积累。现有的序列防御，例如序列监控器（Yueh-Han等人，2025），仅关注用户查询，忽略了模型是否已经产生有害响应，或者已经提供了多少信息来帮助用户实现其目标。其他先前的工作（Gupta等人，2024；Dong等人，2024；Guo等人，2025）则将防御视为粗略的对话级别判断：如果不清楚对话*何时*变得足以促成危害，仅基于轨迹级别标签训练的防御者可能在真正的恶意意图出现之前就进行干预，导致在良性探索性对话中不必要的拒绝（Pan等人，2025；Röttger等人，2024；Zhang等人，2025d, c）。弥合这一差距需要将防御范式转向轮次级别、响应感知的干预。这种方法可以定位恶意意图变为可操作的转折点，同时保留良性探索性交互的效用。

恶意意图作为多轮越狱。现代越狱技术清晰地展示了多轮恶意行为的体现。早期研究主要关注单轮攻击，对手试图通过将完整恶意意图编码在单次提示中并反复优化该提示来引发有害输出（Zou等人，2023；Liu等人，2024；Ding等人，2023；Deep等人，2024；Pavlova等人，2024；Chen等人，2024）。即使此类攻击依赖于混淆（Baumann，2024；Tang等人，2025；Jin等人，2024）或故意利用对齐不足（Yong等人，2023；Zhou等人，2024；Baumann，2024），有害目标仍暴露在单个轮次中，因此可能被配备专用对齐机制的现代安全系统检测到（Muhaimin和Mastorakis，2025；Zhao等人，2025；Inan等人，2023；Guan等人，2024；Zou等人，2024）。为了规避此类防御，攻击者已转向将意图分散到多个轮次（Rahman等人，2025；Ren等人，2025）。这些攻击通常从看似无害的问题开始，逐渐在对话过程中积累或组合相关信息（Srivastav和Zhang，2025；Wahréus等人，2025；Brown等人，2025）。虽然早期的多步攻击通常遵循固定计划（Zhang等人，2025b；Xu等人，2024），但较新的方法根据模型的响应调整其策略（Ren等人，2025；Wei等人，2025b），这使得它们更难被检测。因此，有效的防御需要对整个对话进行连续的、动态的追踪，监控每个新响应如何促成有害结果，而非依赖孤立的轮次级别检查。

## 3 问题形式化

现有工作通常将安全监控构建为提示级别分类或在完成的对话上单一事后判断，这两者都无法在时间上定位危害。我们转而形式化一个轮次级别的目标：在每次交换后，防御者必须确定对话是否刚刚跨越了第一个轮次——即对手已积累足够信息实现有害目标的那一轮。此外，我们使这一决策具有响应感知性：模型自身的输出（而不仅仅是用户的查询）也有助于判断该阈值是否已达到。接下来，我们通过定义交互协议、闭合点（closure turn）和学习目标来形式化该问题。潜在的威胁模型假设对手将有害目标分散在看似良性的轮次中，以获取受限能力。在我们的评估中，我们使用最先进的多轮攻击框架来近似这一威胁模型，详见第4.1节和附录B。

### 3.1 交互协议与响应感知观测

我们考虑用户、基础助手和防御者之间的三方交互，最大轮数为 \(T\)。在第 \(t\) 轮，用户根据之前已交付的对话发出查询 \(q_t\)。基础助手随后生成候选响应 \(\tilde{r}_t\)。在此响应展示给用户之前，防御者观测到完整的轮次上下文：
\[
x_t = \left((q_1, r_1), \ldots, (q_{t-1}, r_{t-1}), q_t, \tilde{r}_t\right)
\]
并选择动作 \(a_t \in \{\text{Pass}, \text{Block}\}\)。如果 \(a_t = \text{Pass}\)，则候选响应被交付，即 \(r_t = \tilde{r}_t\)，交互继续到第 \(t+1\) 轮。如果 \(a_t = \text{Block}\)，则响应被拒绝并替换为拒绝消息。在这项工作中，我们采用单次交互作为概念验证，其中 \(\text{Block}\) 动作终止当前交互；该框架可以通过恢复为更通用的多阶段形式进行扩展。