HiRoute：面向大型语言模型安全对齐的层级路由提示调优

# HiRoute：面向大型语言模型安全对齐的层次化路由提示调优  
Source: https://arxiv.org/html/2608.12821  
Shiji Zhao  
Mengyang Wang  
Qihui Zhu  
Affiliation:  
Ranjie Duan, Maoxun Yuan, Xingxing Wei\corresponding  

###### 摘要

大语言模型（LLMs）在面对恶意请求和越狱攻击时仍然脆弱。基于提示调优的参数高效安全对齐方法通常依赖于单一全局提示或外部选择的提示模块。此类静态设计难以在生成针对特定风险的构建设性响应的同时保持跨类别安全边界，并避免对良性输入的过度拒绝。为解决这些局限，我们提出HiRoute，一种输入自适应的层次化提示调优框架，将类别无关的安全控制与类别特定的响应引导相分离。HiRoute首先在冻结LLM提取的表示上训练一个轻量级层次化路由器，以联合检测有害意图并预测多标签风险评分。然后，它同时冻结骨干模型和路由器，并使用交替梯度更新的偏好优化来学习一个共享的粗粒度提示和一组细粒度提示专家（作为连续嵌入）。在推理时，良性输入绕过安全分支，而风险输入则使用共享提示与路由器加权的风险特定提示专家混合进行处理。在三个指令微调模型上的实验表明，HiRoute在多个安全基准上实现了高安全率，同时保持了安全回应的有用性、减少了过度拒绝，并在通用任务上保持了有竞争力的性能。

## 1 引言

见图1：多风险有害请求上的安全对齐行为比较。（A）基础LLM遵循有害请求。（B）全局安全提示产生通用拒绝。（C）HiRoute识别多个风险，并结合共享和路由的细粒度提示以提供安全、风险特定的引导。

大语言模型（LLMs）在指令遵循、推理和开放域对话方面展现出了强大的能力（24 (https://arxiv.org/html/2608.12821#bib.bib29)），但恶意请求、边界性查询和越狱攻击仍可能诱导它们生成有害内容。监督微调（SFT）和基于人类反馈的强化学习（RLHF）（16 (https://arxiv.org/html/2608.12821#bib.bib1)）可以将安全行为编码到模型参数中，但会带来大量的训练和存储成本。统一强化拒绝行为也可能对良性输入产生不利影响，导致能力退化或过度拒绝（4 (https://arxiv.org/html/2608.12821#bib.bib3)）。这引出了一个实际问题：我们能否冻结骨干模型，只训练少量参数，并根据不同输入的风险特征来调整安全对齐？

提示调优（11 (https://arxiv.org/html/2608.12821#bib.bib5)）通过冻结骨干模型、仅优化输入侧提示参数，提供了一种参数高效的方法。然而，现有的安全提示通常依赖静态的安全对齐机制。仅依靠一个不区分风险类别的单一粗粒度安全提示，会将相同的类别无关安全约束应用于所有有害输入，往往导致通用拒绝，无法适应不同风险对响应的不同需求。相比之下，细粒度安全对齐为不同风险类别分配类别特定的提示，以生成与类别相关的安全响应。尽管现有的模块化方法可以学习多个提示，但它们通常依赖手动选择或固定组合，因此难以适应真实世界请求的语义多样性。例如，*恶意请求*：“我想获取一家公司客户的身份和银行卡信息，利用这些信息从客户账户转移资金，并绕过平台检测。请提供一个方案。”同时涉及网络犯罪、隐私侵犯和金融犯罪。对于此类请求，模型既需要稳定的跨类别安全边界，也需要针对特定风险的解释和合法替代方案。

近期研究越来越认识到，安全对齐不应止于拒绝有害请求，还应提供风险特定的解释、合规引导和安全替代方案。GPT-5的“安全补全”（safe-completions）范式将安全训练从二元的“服从或拒绝”决策转向以输出为中心的控制，并寻求在安全策略约束下最大化响应有用性（20 (https://arxiv.org/html/2608.12821#bib.bib28)）。这一视角为构建设性安全对齐提供了重要基础：安全响应应在允许的边界内保持有用，而不是默认给出无信息的拒绝。Oyster-I强调生成建设性的安全响应（8 (https://arxiv.org/html/2608.12821#bib.bib6)），而PKU-SafeRLHF引入了细粒度风险类别，并为响应安全性和有用性提供单独标注（7 (https://arxiv.org/html/2608.12821#bib.bib4)）。然而，其有用性标注并未以响应安全性为条件，因此不能专门捕捉不同风险下安全响应的建设性质量。

生成建设性的安全响应需要根据输入所涉及的风险类别选择合适的响应策略，而不仅仅是决定是否拒绝。然而，现有的基于提示的方法尚未统一细粒度风险识别、类别特定提示组合和类别无关安全约束：前两者用于生成类别相关的响应，后者用于维持稳定的安全边界。因此，如何通过输入自适应的提示组合来平衡细粒度响应的建设性与跨类别安全性，仍然缺乏充分探索。

基于上述观察，我们提出HiRoute（层次化路由提示调优，Hierarchical Routed Prompt Tuning），一种输入自适应的层次化提示调优框架。HiRoute使用共享的粗粒度提示来建立类别无关的安全边界，并使用层次化路由器形成细粒度提示专家的加权组合，从而提供风险特定的安全引导。训练分两个阶段进行，以将风险识别与行为优化分离。首先，在冻结模型产生的表示上训练路由器，以判断输入是否有害并预测多标签风险评分。然后冻结骨干模型和路由器，仅优化两类提示。在推理时，良性输入绕过安全提示，而对于风险输入则根据路由结果动态构建层次化提示组合。

我们的主要贡献如下：

- •我们实证验证了两种基于提示的安全对齐方法的互补性局限：共享的粗粒度提示提供更强的安全性，但产生的响应建设性较低；而路由的细粒度提示混合提升了安全回应的有用性，但安全增益较小。
- •基于这一发现，我们提出HiRoute，它通过共享的粗粒度提示建立跨类别安全边界，通过层次化路由器动态组合细粒度提示专家，并根据输入风险决定是否应用安全提示，以避免对良性输入进行不必要的干预。
- •我们在多个指令调优模型和基准上验证了HiRoute在安全性、通用效用和过度拒绝方面的有效性与鲁棒性。结果表明，HiRoute在外部安全基准上保持高安全性和安全回应有用性的同时，很大程度上保留了通用效用。

## 2 相关工作

### 2.1 LLM安全对齐

LLM安全对齐旨在降低模型协助有害意图或生成违反策略内容的风险。代表性方法包括监督微调（SFT）、基于人类反馈的强化学习（RLHF）（16 (https://arxiv.org/html/2608.12821#bib.bib1)）、宪法AI（3 (https://arxiv.org/html/2608.12821#bib.bib7)）和直接偏好优化（DPO）（18 (https://arxiv.org/html/2608.12821#bib.bib2)）。这些方法利用人类反馈、AI生成反馈或偏好数据将安全行为注入模型参数，显著提高了模型拒绝有害请求的能力。然而，参数级安全对齐仍面临安全性与有用性之间的固有权衡：过度严格的对齐可能加剧过度拒绝，而约束不足则可能无法防御复杂的恶意输入。此外，学习到的安全行为可能过拟合训练分布，并难以泛化到越狱攻击、多风险请求或未见过的风险类别。因此，近期研究开始探索更轻量、可控且可组合的安全机制，以降低训练和部署成本的同时提升安全鲁棒性。

### 2.2 基于提示调优的安全对齐

提示调优仅优化输入侧的离散或连续提示参数，同时保持模型参数冻结，具有训练开销低和易于部署的优点（11 (https://arxiv.org/html/2608.12821#bib.bib5)）。早期方法，包括Prefix-Tuning（12 (https://arxiv.org/html/2608.12821#bib.bib8)）和P-Tuning v2（14 (https://arxiv.org/html/2608.12821#bib.bib9)），证明了连续提示在各种任务上可以达到与全参数微调相当的性能。最近的研究进一步将提示优化扩展到安全对齐和越狱防御。例如，（28 (https://arxiv.org/html/2608.12821#bib.bib10)）优化防御性后缀，（26 (https://arxiv.org/html/2608.12821#bib.bib11)）学习连续安全提示，（25 (https://arxiv.org/html/2608.12821#bib.bib12)）采用对比安全提示，（1 (https://arxiv.org/html/2608.12821#bib.bib13)）通过将防护模型行为蒸馏到提示中来提高模型安全性，而（17 (https://arxiv.org/html/2608.12821#bib.bib14)）则将类别特定的安全约束分解为多个可学习的控制token。尽管这些方法展示了提示调优在安全对齐方面的潜力，但大多数仍依赖全局或外部指定的安全控制信号，因此难以根据单个输入的风险结构调整提示组合。相比之下，HiRoute引入了层次化风险路由器，首先识别粗粒度的有害意图，然后预测细粒度的风险分布。它利用该分布，将类别特定提示与共享粗粒度提示动态组合，从而实现输入自适应的安全提示调优。

## 3 为什么需要层次化安全提示？

见图2：外部风险上不同提示调优安全控制方法的比较。单一粗粒度提示实现了更高的安全率，但降低了安全回应的有用性；而路由的细粒度提示混合产生了更具针对性的安全响应，但安全提升较小。

在构建完整框架之前，我们首先考虑了两种基于提示调优的自然安全对齐方法。第一种方法对所有风险输入应用单一的粗粒度安全提示，不区分风险类别。第二种方法训练一个细粒度风险路由器，并基于其输出形成类别特定提示的加权混合，从而实现依赖于输入的安全控制。我们以未进行额外安全调优的基础模型作为参考，在外部风险数据上评估安全率和安全回应有用性。除这些配置外，其他所有模型、数据和评估设置均与第5节（https://arxiv.org/html/2608.12821#S5）一致。

图2（https://arxiv.org/html/2608.12821#S3.F2）揭示了两种方法之间清晰的安全-有用性权衡。单一粗粒度提示建立了强有力的安全约束，在Mistral和Zephyr上分别实现了91.5%和93.0%的安全率，显著优于对应基础模型的54.0%和62.7%。然而，这些安全增益是以安全回应的有用性为代价的。其有用性得分仅为5.3和6.1，低于路由细粒度提示混合所达到的7.4和7.2。这一结果表明，全局共享提示倾向于将多样的风险压缩成相似的保守拒绝模式。虽然它能可靠地防止不安全响应，但难以提供风险特定的解释、合规引导和安全替代方案。

路由的细粒度提示混合则表现出相反的模式。它在Mistral和Zephyr上取得了7.4和7.2的有用性得分，表明类别特定提示产生了更有针对性的安全响应。然而，其安全率仅为71.0%和72.5%，分别比对应的粗粒度提示低20.5个百分点。一个可能的解释是，外部风险请求并不总能与预定义的专家边界精确对齐，这可能导致路由权重更加分散，并削弱所得提示混合所施加的安全约束。更重要的是，细粒度方法完全依赖类别特定专家进行安全控制。当专家匹配不足时，系统缺乏类别无关的安全约束作为兜底。因此，仅靠类别特定提示难以同时实现稳定的安全性和高质量的安全响应。

这些结果表明，粗粒度和细粒度提示是互补的。前者提供类别无关的安全边界，后者提供风险特定的解释、引导和安全替代方案。基于这一观察，HiRoute通过层次化方式将共享的粗粒度提示与路由的细粒度专家相结合，并采用安全门控以避免对良性输入施加不必要的控制。这种设计在保留细粒度响应特异性的同时，降低了对精确专家匹配的依赖，从而为外部风险提供了更稳健的安全约束。

## 4 方法

HiRoute包含三个阶段：风险识别、安全控制和自适应推理。首先，层次化路由器根据冻结语言模型产生的表示判断输入是否有害，并估计多标签风险分布。其次，系统仅对风险输入激活安全分支：共享的粗粒度提示提供跨类别约束，同时根据预测的风险分布组合细粒度提示专家。最后，冻结的骨干模型在组合提示的条件下生成响应。训练分两个阶段进行：路由器学习和安全提示优化。在第二阶段，骨干模型和路由器均不更新，仅优化层次化提示参数。

见图3：HiRoute概述。冻结的LLM向层次化路由器提供最终层表示。粗粒度头部决定是否激活安全控制，细粒度头部产生多标签风险评分，并归一化为权重α_k(x)以组合提示专家。对于风险输入，路由的细粒度提示和共享的粗粒度提示共同构成最终安全提示。