CHILLGuard:面向细粒度中文大模型安全护栏的可扩展数据构建与模型感知偏好对齐

arXiv cs.CL 论文

摘要

本文介绍了CHILLGuard,一个基于新的5大类、31小类风险分类体系和可扩展多阶段数据构建流程的细粒度中文大模型内容安全护栏。该模型实现了最先进的性能,在F1分数上相比现有基线提升了15.92%。

arXiv:2606.15396v1 公告类型:新 摘要:大语言模型生成的恶意内容可能带来严重的安全风险和伦理问题。虽然现有的大语言模型安全护栏在英语或多语言环境中表现出色,但它们缺乏对中文特定监管政策、文化背景和语言细微差别的适应,无法支持针对不同部署需求的细粒度风险分类。在本文中,我们针对中文场景引入了一个5大类、31小类的细粒度风险分类体系,并构建了CHILLGuard:一个专门的中文大模型内容安全护栏。为了解决高质量标注中文安全数据严重短缺的问题,我们提出了一个可扩展的多阶段数据构建流程:通过检索增强生成扩展多源语料库,通过提示工程改写生成隐含有害样本,通过多模型投票标签校准精炼高质量数据。基于此,我们构建了包含405,007个样本的大规模训练集CHILLGuardTrain,以及包含51,745个样本的严格整理标注测试集CHILLGuardTest。然后,我们在生成器-分类器协作框架下,通过模型感知直接偏好优化在CHILLGuardTrain上训练CHILLGuard。在多种设置下的广泛实验证明了CHILLGuard的最先进性能,例如,在我们的基准测试中,F1分数相比Qwen3Guard-8B-Strict提升了15.92%。我们将在https://github.com/cswbyu/CHILLGuard上发布我们的资源。
查看原文
查看缓存全文

缓存时间: 2026/06/16 11:47

# 本文可能包含一些冒犯性和令人不安的内容。来源:https://arxiv.org/html/2606.15396

## CHILLGuard:通过可扩展数据构建和模型感知偏好对齐实现细粒度中文大语言模型安全护栏

**警告:本文可能包含一些冒犯性和令人不安的内容。**

文博宇¹,王博华²¹¹¹,方浩¹¹¹¹,高阔峰¹¹¹¹,曾静茹³¹¹¹,杨晓晨¹,张天一¹,马小小¹,孔嘉伟¹,吴浩¹,⁵,陈斌⁴,夏树涛¹,张敏⁴

¹清华大学 ²北京师范大学 ³华南理工大学 ⁴哈尔滨工业大学(深圳) ⁵深圳深农信息技术有限公司

[email protected]
[email protected]

###### 摘要

大语言模型(LLM)生成的恶意内容可能带来严重的安全风险和伦理问题。虽然现有的LLM安全护栏在英语或多语言环境中表现出色,但它们缺乏针对中文特定监管政策、文化背景和语言细微差别的适应性,无法支持不同部署需求下的细粒度风险分类。在本文中,我们引入了一个面向中文场景的5大类、31小类细粒度风险分类体系,并构建了**CHILLGuard**:一个专门的中文LLM内容安全护栏。为了解决高质量标注中文安全数据严重匮乏的问题,我们提出了一种可扩展的多阶段数据构建流程:通过检索增强生成扩展多源语料库,通过提示工程改写生成隐式有害样本,通过多模型投票标签校准精炼高质量数据。基于此,我们构建了包含405,007个样本的大规模训练集**CHILLGuardTrain**,以及包含51,745个样本的严格策划标注测试集**CHILLGuardTest**。然后,我们在生成器-分类器协作框架下,通过模型感知直接偏好优化在CHILLGuardTrain上训练CHILLGuard。在多种设置下的大量实验证明了CHILLGuard的最先进性能,例如,在我们基准测试上,F1分数比Qwen3Guard-8B-Strict提高了15.92%。我们将在 https://github.com/cswbyu/CHILLGuard 发布我们的资源。

\keepXColumns

**CHILLGuard:通过可扩展数据构建和模型感知偏好对齐实现细粒度中文大语言模型安全护栏**

**警告:本文可能包含一些冒犯性和令人不安的内容。**

文博宇¹††,王博华²¹¹¹,方浩¹¹¹¹,高阔峰¹¹¹¹,曾静茹³¹¹¹,杨晓晨¹,张天一¹,马小小¹,孔嘉伟¹,吴浩¹,⁵,陈斌⁴††,夏树涛¹,张敏⁴

¹清华大学 ²北京师范大学 ³华南理工大学 ⁴哈尔滨工业大学(深圳) ⁵深圳深农信息技术有限公司

[email protected]
[email protected]

## 1 引言

随着大语言模型(LLM)的快速进步及其在不同领域实际应用中的广泛部署(Chen等人,2025;Chkirbene等人,2024),确保LLM输出的安全性和合规性已成为负责任AI开发的基本前提。在所有安全风险中,有害内容生成已成为最关键和最普遍的挑战之一,因为不合规、冒犯性或非法内容可能对用户安全、社会秩序和监管合规构成严重威胁,特别是在高风险商业和公共服务场景中(Dong等人,2024)。为缓解这些风险,LLM内容审核系统已成为现代LLM部署的核心基础设施,越来越多的研究致力于构建强大的护栏模型(Inan等人,2023;Zhao等人,2025)。然而,现有护栏在应用于中文LLM场景时存在严重局限性,而这些场景在主流水研究中仍未被充分探索。首先,几乎所有现有护栏都是针对英语或多语言通用场景优化的,其危害分类和训练目标围绕西方文化规范、语言模式和全球监管标准设计。这些护栏缺乏对中国特定监管政策、文化背景和隐式语言表达的充分适应性,导致在实际中文内容审核中出现高误报率和漏报率。其次,高质量、细粒度、大规模的中文安全数据集仍然极为稀缺。现有数据集要么是粗粒度的,要么规模有限,要么缺乏多样化和隐式有害样本,严重限制了鲁棒中文护栏的开发。第三,传统训练范式严重依赖普通监督微调(SFT),未能利用先进的人类偏好对齐技术(Rafailov等人,2023)来增强模型对隐式、模糊和边界有害内容的鲁棒性。为解决这些关键差距,我们提出**CHILLGuard**,一个具有可扩展数据构建和模型感知直接偏好优化(MDPO)的细粒度中文LLM内容安全护栏系统。我们首先引入一个完全符合中国法规和语言特点的专用5大类、31小类细粒度危害分类体系。然后,我们构建一个可扩展的多阶段数据流程,该流程集成了通过检索增强生成(RAG)的多源语料库扩展、通过提示工程(PE)改写的隐式有害样本生成,以及通过多模型投票标签校准、去重和过滤的高质量数据精炼。基于此流程,我们构建了两个大规模、高质量的数据集:用于模型训练的**CHILLGuardTrain**(405,007个样本)和用于标准化评估的**CHILLGuardTest**(51,745个样本)。我们进一步在生成器-分类器协作框架下使用MDPO训练CHILLGuard,这显著提高了检测鲁棒性和泛化能力。大量实验表明,CHILLGuard在我们的CHILLGuardTest和主流公开中文内容安全基准测试上均达到最先进(SOTA)性能,显著优于广泛使用的开源护栏(包括LlamaGuard、Qwen3Guard和PolyGuard)。例如,在CHILLGuardTest上,我们的8B变体总体F1分数达到89.77,超过第二好的模型Qwen3Guard-8B-Strict 15.92%。

## 2 细粒度中文危害分类

定义良好的危害分类体系是构建鲁棒中文LLM安全护栏的基础。现有的主流分类体系面向英语中心或通用多语言场景(Inan等人,2023),与中国监管框架不一致,并忽略了中文特有的语言/文化特征:隐式表达、谐音、典故和委婉语。为填补这一空白,我们引入了一个包含5个大类和31个小类的细粒度中文危害分类,覆盖从国家安全到个人权利的风险。

**大类A:违反社会主义核心价值观。** 此类针对破坏国家安全、社会稳定和社会主义核心价值观的最严重安全风险,在中文场景中具有最高内容审核优先级。包括8个小类:(1)煽动颠覆国家政权或推翻社会主义制度(A1);(2)危害国家安全和利益,或损害国家形象(A2);(3)煽动分裂,破坏国家统一和社会稳定(A3);(4)宣扬恐怖主义或极端主义(A4);(5)宣扬民族仇恨(A5);(6)宣扬暴力、淫秽或色情(A6);(7)传播虚假和有害信息(A7);(8)法律法规禁止的其他内容(A8)。

**大类B:歧视性内容。** 此类针对基于固有特征歧视特定群体、违反社会公平的内容,提供全面的歧视类型覆盖。包括9个小类:(1)民族歧视内容(B1);(2)宗教或信仰歧视内容(B2);(3)国籍歧视内容(B3);(4)地域歧视内容(B4);(5)性别歧视内容(B5);(6)年龄歧视内容(B6);(7)职业歧视内容(B7);(8)基于健康的歧视内容(B8);(9)其他形式的歧视内容(B9)。

**大类C:商业违规与不合规。** 此类聚焦于商业LLM部署场景中与市场秩序、知识产权保护和公平竞争相关的风险。包括5个小类:(1)侵犯他人知识产权(C1);(2)违反商业伦理(C2);(3)泄露他人商业秘密(C3);(4)利用算法、数据或平台优势实施垄断和不正当竞争(C4);(5)其他非法或不合规的商业活动(C5)。

**大类D:侵犯合法权益。** 此类保护个人的基本法律权利,如肖像权和财产权,这些在LLM生成的内容中经常被侵犯。包括7个小类:(1)危害他人身心健康(D1);(2)侵犯他人肖像权(D2);(3)侵犯他人名誉权(D3);(4)侵犯他人荣誉权(D4);(5)侵犯他人隐私权(D5);(6)侵犯个人信息权益(D6);(7)侵犯他人其他合法权益(D7)。

**大类E:未能满足特定服务的安全需求。** 此类涉及与质量相关的风险,这些风险在传统LLM安全分类中常被忽视,但对于高风险场景中的用户体验和服务可靠性至关重要。包括2个小类:(1)严重违背科学常识或主流认知的不准确内容(E1);(2)未能为用户提供有意义帮助的不可靠内容(E2)。

参见图1说明:我们的**CHILLGuardTrain**和**CHILLGuardTest**构建流程示意图。它集成了三个互补来源(A部分),采用统一的数据预处理(B部分)和标签校准(C部分)过程,并生成包含丰富文化特定有害样本的高质量中文安全数据集(D部分)。

## 3 CHILLGuard数据集构建

为解决现有中文安全数据集的局限性(包括原生中文有害语料匮乏、粗粒度分类,以及中文在线环境中普遍存在的隐式、模糊和文化特定有害查询严重表征不足),我们构建了包含405,007个样本的**CHILLGuardTrain**和包含51,745个样本的**CHILLGuardTest**——这对大规模中文内容安全数据集。如图1所示,我们的数据集构建遵循一个三阶段流程,包含统一预处理和多模型标签校准程序。

### 3.1 多源数据生成

我们从三个互补来源收集和生成数据,以确保规模和多样性。

**基于检索增强生成(RAG)的提示构建。** 为了在保持语义真实性的同时扩展数据集的规模和多样性,我们首先通过针对性社交媒体爬取构建了一个大规模互联网文本语料库。我们为31个有害子类别中的每个类别设计了20个种子关键词。接着,我们使用Gemini 3.1 Pro将这些种子扩展为更大的关键词池,每个子类别约80个关键词,所有类别共2,480个关键词。对于每个关键词,我们从Quora、X(即前Twitter)和微博爬取相关文本内容,同时使用原始中文关键词及其英文翻译。此过程生成了约480,000个真实互联网文本样本。基于此语料库,我们构建了一个基于RAG的提示构建流程(Lewis等人,2020)。我们使用bge-m3(Chen等人,2024b)嵌入对多语言语料库进行编码,并将表示存储在向量数据库中。对于每个有害子类别,我们使用大类标签、小类标签和随机抽样的小类关键词组合构建检索查询,以确保语义相关性和多样性。对于每个查询,我们检索Top-100候选文本并均匀抽样五个实例。然后,将这些检索到的文本输入到一个提示模板中,该模板指示模型在保留语义意图的前提下,对原始内容进行最小修改,将其转化为自然的用户提示。为减轻有害提示生成过程中的过度拒绝行为,我们使用了Dolphin-Mistral-24B-Venice-Edition(Hartford and Venice.ai, 2025),这是一个未被审查的指令遵循模型,优先遵循系统提示而非内置安全过滤。该流程生成了59,520个样本。详细提示模板见附录C.1。

**真实世界数据获取。** 为捕捉实际部署中最真实的有害查询,我们从权威机构的生产环境中收集了46,742个真实用户提示。这些样本代表了商业LLM服务在中国面临的有害请求的实际分布,包括现有公共安全数据集中缺失的许多边界情况及新兴规避手段。为确保高质量标注,我们邀请了5位以上网络安全、计算语言学和法律合规领域的博士专家,共同制定符合中国监管要求的严格标注标准。经过初步人工筛选去除重复和不相关的内容后,这些真实提示作为我们后续基于提示工程的数据增强的高质量种子数据。

**基于提示工程(PE)的数据增强。** 为增加有害提示的隐式性和多样性,并维持有害与良性的平衡比例,我们设计了针对中文语言特性的类别特定提示改写策略:包括谐音替换、文化典故、反语讽刺和语义嵌套。使用这些改写模板,我们对46,742个真实生产提示进行了大规模增强,生成了109,312个改写样本并纳入最终数据集中。对于原始真实提示,仅保留均匀抽样的3,697个提示子集(包括3,100个良性样本),其余提示仅用作改写的种子提示。完整的改写策略见附录C.2。

### 3.2 统一数据预处理和标签校准程序

从三个来源生成的原始数据可能包含混合的...

相似文章

SingGuard: 策略自适应多模态LLM护栏与动态推理

Hugging Face Daily Papers

SingGuard是一种策略自适应多模态LLM护栏模型,用于文本、图像和多语言安全审核,具备动态推理能力,并包含新基准SingGuard-Bench。它在多个数据集上取得了最先进的结果。

Fence:面向LLM应用的专用SLM护栏

arXiv cs.AI

Fence提出使用在高质量合成数据上训练的小语言模型作为LLM应用的专用护栏,展示了相对于基于提示的LLM护栏的性能提升。

具备潜在推理能力的鲁棒高效护栏

arXiv cs.AI

CoLaGuard 是一种新型护栏模型,它将多步安全推理转移到连续潜在空间中,与显式推理基线相比,实现了 12.9 倍的加速和 22.4 倍的 Token 缩减,同时在十个安全基准上匹配宏 F1 性能。

一种用于数据高效 RL 对齐的宪法网格工具(C-Guard)

arXiv cs.CL

本文提出了 C-Guard,一种用于安全护栏数据高效强化学习对齐的宪法网格工具,利用 C-LIM 可学习性评分来修剪、加密、修正或扩展训练数据。它将过度拒绝从 22.4% 降低到 12.8%,并提高了数据效率。