DT-Guard: 意图驱动的推理主动训练实现免推理的LLM安全护栏

# DT-Guard：面向推理免推理的LLM安全护栏的意图驱动推理主动训练
来源：https://arxiv.org/html/2607.06326
\\reportnumber

00111footnotetext:同等贡献\.22footnotetext:通讯作者：boyuan\.zb@antgroup\.com

常涛淼∗ 辛杰杨∗ 宋天乐 吴银 陈俊驰 何炳涛 张鑫源 张波† 闫实 陆炜 王炜 许丹阳 蔡建生 李哲 蚂蚁数字科技 蚂蚁集团

###### 摘要

部署在开放世界应用中的大型语言模型需要安全护栏，这些护栏既要对复杂风险具有鲁棒性，又要足够高效以实现低延迟的运行时审核。现有护栏面临一个实际权衡：轻量级基于分类的模型虽然高效，但往往难以处理隐藏意图、歧义语义和边界安全决策；而基于推理的护栏虽然提高了判断质量，但引入了额外的令牌生成和推理延迟。我们提出 DT-Guard，这是一个基于**推理主动训练、推理免推理**范式的内容安全护栏模型。其关键思想是在训练期间使用推理监督，而在推理时仅输出结构化的安全标签。DT-Guard 将安全判断建模为一个逐步决策过程：意图 → 类别 → 安全性，并构建了一个包含意图标签、风险类别、安全标签和结构化推理轨迹的意图驱动数据集。为了进一步提高困难案例的鲁棒性，我们提出了**展开引导的渐进式困难案例优化（RG-PHO）**，该方法利用多次展开一致性来识别稳定掌握、持续失败和偏好不稳定的样本，并相应地应用有针对性的监督优化和偏好优化。在推理时，DT-Guard 直接生成结构化标签，无需显式推理过程，从而保持了部署效率。在提示侧和响应侧的安全基准测试中，DT-Guard 分别取得了 0.886 和 0.870 的平均 F1 分数。仅使用 4B 的骨干模型，它就达到了 0.878 的双侧平均 F1，超越了强大的 8B 护栏基线。这些结果表明，推理监督可以有效地内化为低延迟的安全判别。

参见标题图1：DT-Guard 在推理免推理下，在代表性安全基准上取得最高F1，优于强护栏基线。## 1 引言

大型语言模型（LLM）在指令遵循、知识密集型问答、复杂推理和多轮交互方面取得了显著进展，并越来越多地部署在开放式的实际应用中qwen35blog;singh2026openaigpt5card;li2026lingring26technical。随着部署范围的扩大，LLM 必须处理多样的用户输入，并在安全敏感场景中生成响应。用户输入可能包含隐藏的有害意图、对抗性越狱尝试或模棱两可的边界请求，而模型输出在特定上下文中可能包含不安全、有害、有偏见或违反策略的内容gcg;autodan。安全护栏模型llamaguard;shieldgemma;qwen3guard;yufengxguard因此成为重要的运行时安全层，在用户输入传递给模型之前或模型响应返回给用户之前，检测并拦截风险。

现有的护栏模型通常遵循两种推理范式之一。基于分类的护栏llamaguard;shieldgemma;aegis;wildguard;polyguard根据预定义分类法直接预测安全标签，适合实时部署。然而，它们往往难以应对隐藏意图、歧义语义和对抗性构造的请求，因为复杂的安全判断被压缩成扁平化的标签预测。安全风险并非总是仅由表面文本决定。涉及同一敏感主题的请求可能对应善意的教育性查询、防御性分析、风险探索或恶意利用intent-ft;zhuang。如果没有显式的意图建模，护栏可能会对善意请求产生过度拒答，或对恶意请求出现风险漏检。

推理增强型护栏提供了另一方向。通过生成显式的思维链推理或解释性轨迹，此类方法可以更仔细地分析上下文，提高对困难安全案例的鲁棒性liu2025guardreasoner;yufengxguard。然而，在推理时要求完整的推理轨迹或详细解释会引入额外的令牌生成开销和响应延迟，使得这些方法难以部署在吞吐量高、延迟低的工业系统中qwen3guard。这些局限性凸显了对一种护栏训练范式的需求，该范式既能从推理监督中获益，又能保持推理免推理。

为应对这一挑战，我们提出 **DT-Guard**，一种遵循 **推理主动训练、推理免推理** 范式的内容安全护栏模型。DT-Guard 不将显式推理视为部署时必需的输出，而是在训练期间将推理轨迹用作监督信号，并在推理时直接生成结构化安全标签。我们将安全判断建模为一个逐步决策过程：**意图→类别→安全性**。模型首先识别潜在的交互意图，然后归因相关的风险类别，最终预测安全等级。与直接将文本映射到安全标签相比，这种结构为表面线索不可靠的困难案例提供了更清晰的中间监督。

基于这一公式，我们构建了一个意图驱动的安全数据集，包含提示、响应、意图标签、风险类别、安全标签和结构化推理轨迹。我们进一步引入**展开引导的渐进式困难案例优化（RG-PHO）**，该方法利用多次展开一致性来识别不同类型的残余错误。持续失败的样本通过更强的监督纠正进行优化，而偏好不稳定的样本则通过对正确和错误展开进行对比偏好学习来优化。通过这种方式，显式推理信号被转化为更稳定的标签级安全判断，而无需在推理时生成推理链。

在多个提示侧和响应侧安全基准上的实验证明了 DT-Guard 在推理免推理下的有效性。在 10 个提示侧基准上，DT-Guard 的平均 F1 分数达到 0.886，比 Qwen3Guard-8B（0.852）提升 3.4 个点。在 7 个响应侧基准上，其平均 F1 分数达到 0.870。总体而言，仅使用 4B 骨干模型，DT-Guard 的双侧平均 F1 分数达到 0.878，超越了强大的 8B 护栏基线。这些结果表明，推理监督可以在训练期间内化，并在推理时转化为高效的安全判别。

我们的主要贡献总结如下：

- •我们提出 **DT-Guard**，一种遵循 **推理主动训练、推理免推理** 范式的安全护栏模型，它内化了复杂的安全推理，而无需在部署时生成显式推理链。
- •我们构建了一个意图驱动的安全判断框架和数据集，并引入了 **RG-PHO**，一种渐进式困难案例优化策略。它将安全判别组织为 **意图→类别→安全性**，通过展开一致性对困难案例进行分层，并应用困难案例 SFT 和困难案例 DPO 进行针对性优化。
- •我们在输入风险检测和响应安全审核方面进行了多项实验，为低延迟安全护栏提供了一条平衡推理能力和部署效率的有效训练路径。

## 2 相关工作

### 2.1 安全对齐

大型语言模型的快速开发和部署使安全对齐成为核心研究课题。现有方法旨在训练期间使模型行为与人类偏好和安全要求对齐。RLHFrlhf利用从人类偏好数据训练得到的奖励模型优化 LLM，而 Constitutional AIconai则通过基于预定义原则的自我批评和修订来提高无害性。DPOdpo通过直接从偏好对中学习，进一步简化了偏好优化。尽管这些方法提高了模型的内在安全性，但对于可靠的开放世界部署，仅靠对齐仍然不足。GCGgcg和 AutoDANautodan等自动化越狱方法表明，对齐模型仍可能被诱导生成不安全或违反策略的响应。这些局限性促使了运行时安全机制的发展，以在模型级对齐之外监控和调节 LLM 交互。

### 2.2 护栏模型

安全护栏作为运行时安全层，用于审核用户输入和模型输出。现有的护栏模型通常将安全检测表述为基于预定义分类法的指令遵循或分类任务。Llama Guardllamaguard训练一个专用的 LLM 根据安全策略对用户输入和模型响应进行分类。ShieldGemma shieldgemma通过可定制的策略指令提高了可配置性。Aegisaegis引入了细粒度的风险类别，而 WildGuardwildguard统一了安全风险检测、越狱检测和拒答检测。PolyGuardpolyguard进一步将护栏扩展到多语言安全审核。尽管这些方法有效，但它们主要依赖直接标签预测，在模棱两可或欺骗性案例中对潜在意图和复杂决策过程的建模有限。

### 2.3 护栏推理

最近的研究探索了推理增强型护栏，以提高鲁棒性和可解释性。GuardReasonerliu2025guardreasoner显式建模了安全判断背后的推理过程，而 YuFeng-XGuardyufengxguard则强调以推理为中心和可解释的风险感知。然而，在推理时生成推理轨迹会引入额外的令牌成本和响应延迟，使得这些方法在延迟敏感的应用中实用性降低。为了提高部署效率，Qwen3Guardqwen3guard通过流式检测实现了令牌级实时监控。尽管如此，现有护栏在推理增强型判断和高效推理之间仍然存在张力。我们的 DT-Guard 通过在使用推理和意图监督进行训练的同时，保持部署时推理免推理的结构化标签推理，解决了这一差距。

## 3 意图驱动的安全数据构建

参见标题图2：意图驱动数据构建流水线：异质安全源经过蒸馏、投票过滤和专家验证，生成结构化的 CoT 和标签监督。我们构建了一个用于训练 DT-Guard 的意图驱动安全语料库，如图2所示。从异质安全资源出发，我们将所有样本标准化为统一的提示-响应-标签格式，并为每个实例丰富思维链（CoT）、意图、风险类别和安全注释。这将安全审核从扁平化的标签预测转变为结构化的决策路径：**意图→类别→安全性**。为减少注释噪声并暴露边界案例，我们结合了 GLM-5.1 蒸馏、多轮投票和专家验证：一致的案例保留，确认的重新标记保留，错误案例过滤，不一致案例标记为 **边界**。最终包含 811,897 个样本的语料库既为推理免推理提供了结构化标签监督，也为后续的 RG-PHO 训练提供了推理轨迹。

### 3.1 数据源

我们从六个安全领域汇总了 1,918,565 个原始样本，涵盖红蓝对抗、越狱攻击、对齐数据、毒性、偏见和领域特定风险。原始池包含 949,050 个提示级样本（49.46%）用于输入侧风险检测，以及 969,515 个响应级样本（50.54%）用于输出侧安全评估。经过过滤和平衡后，最终语料库保持双侧，包含 450,437 个提示级样本和 361,460 个响应级样本（表1），为两个护栏入口点提供了可比的监督。

表1：过滤和平衡后的最终语料库规模（按任务侧）。表2：意图分类及最终分布，区分正常使用、风险内容和对抗攻击意图。参见标题图3：不安全风险类别分布。表3：最终安全标签分布，保留安全、不安全及边界案例用于边界风险学习。
### 3.2 数据处理与训练集构建

我们采用两阶段流水线来扩展注释维度并控制标签质量。

**基于LLM的蒸馏与质量过滤。** 公共安全数据集的标签空间、风险粒度和注释标准各不相同。因此，我们使用 GLM-5.1 作为自动注释器，并要求固定的输出模式，包含 CoT、**意图**、**类别**和**安全性**。意图标签遵循表2；类别标签从图3中的九种风险类型中选择；安全标签为**安全**、**不安全**或**边界**（表3）。注释顺序明确遵循**意图→类别→安全性**，鼓励交互动机、风险归属和最终裁决之间的一致性。

**多轮投票与专家验证。** 接下来，我们比较蒸馏后的**安全性**标签与原始标签。匹配的样本直接保留。对于不匹配的样本，GLM-5.1 执行三次额外的独立展开。一致重新标记的结果提交专家验证；确认的更正保留，拒绝的案例移除。非一致结果（2:1 或 1:2）被视为注释不稳定的边界案例，并重新标记为**边界**。此过程纠正了导致过度拒答的误报和导致风险漏检的漏报。从原始语料库中保留了 1,121,574 个高质量样本，保留率为 58.46%。

**训练集构建。** 每个保留样本包含对话内容、CoT 推理、意图标签、风险类别和安全标签，为意图识别、风险定位和安全分类提供对齐的监督。

### 3.3 数据平衡

从 1,121,574 个保留样本出发，我们根据安全标签和风险类别平衡最终训练分布。

**安全标签平衡。** 我们的目标是 **安全:不安全:边界** 的比例约为 5.5:4:0.5。这保留了足够的不安全监督，同时保持足够的安全样本以减少过度拒答，并明确保留边界案例用于模糊性建模。最终语料库包含 450,000 个**安全**样本（55.43%）、317,134 个**不安全**样本（39.06%）和 44,763 个**边界**样本（5.51%），如表3所示。

**风险类别平衡。** 我们还对九种风险类型执行类别感知采样，以限制头部类别主导并保留长尾覆盖。最终分布涵盖了常见风险，如**偏见与歧视**和**非法活动**，同时保留了稀疏但在部署中关键的类别，如**政治敏感内容**和**其他**（图3）。

应用两种平衡策略后，最终数据集包含 811,897 个样本。