超越安全数据：使用正则安全反射的预训练阶段对齐

# 超越安全数据：基于正则安全反思的预训练阶段对齐

来源：https://arxiv.org/html/2606.19168

李金瀚¹ 唐克贤¹∗ 许艺涵¹ 叶卓睿 吕凯风¹

¹清华大学交叉信息研究院

\{lijinhan21,tangkx25\}@mails\.tsinghua\.edu\.cn

###### 摘要

为了实现大型语言模型更深层次的安全对齐，近期的研究致力于将安全干预措施提前到预训练阶段，主要通过过滤不安全数据或将其重写为更安全的形式。我们认为，预训练阶段的对齐不应仅仅停留在使数据安全这一层面：语言模型可能将看似无害的知识和能力组合成不安全的行为。为此，我们提出**安全反思预训练**，一种预训练阶段的对齐方法，通过定期将简短的安全反思插入预训练语料库，直接将自我监控机制融入语言建模中，建立一种基础能力，随后由兼容的后训练进行强化。我们在基于FineWeb-Edu预训练的1.7B模型上进行的实验表明，安全反思预训练提高了安全分类的准确性，并显著降低了推理阶段攻击和微调攻击的成功率。作为真实世界实验的补充，我们还引入了一个完全受控的合成环境**MedSafetyWorld**，其中包含清晰的安全定义和推理结构，模型易于从安全数据中泛化出不安全行为。在MedSafetyWorld上的消融实验进一步表明，与数据过滤和重写相比，安全反思预训练在防止模型根据从安全数据泛化出的不安全行为采取行动方面具有明显优势。综合来看，我们的研究结果表明，预训练对齐不仅应使训练数据安全，还应塑造模型可能从安全数据中习得的行为。

## 1 引言

在当前的实践中，安全对齐主要在后训练阶段进行，包括在精心策划的安全数据集上进行监督微调(Bianchiet al.,2024)，从人类或AI反馈中进行强化学习(Ouyanget al.,2022; Baiet al.,2022b; Daiet al.,2024)，以及使用安全特定奖励进行强化学习(Muet al.,2024; Yuanet al.,2025)。然而，这些方法仍然面临各种漏洞：操控输入提示(Zouet al.,2023)或甚至在良性任务上微调模型(Qiet al.,2024)都可能削弱甚至破坏对齐过程中获得的安全防护栏。一个更根本的担忧是，**仅在**后训练期间进行的安全对齐可能仍然浅薄且脆弱，它改变了模型的行为，却没有实质性地改变其底层能力(Qiet al.,2025; Jiet al.,2025)。这促使了越来越多的工作将安全干预措施提前到训练流程中，特别是在预训练阶段。

在现有的预训练阶段对齐方法中，**数据过滤**是最常见的方法。为减少模型生成中的不良属性，如有毒性(Longpreet al.,2024; Soldainiet al.,2024)，数据过滤在训练前移除那些被预测包含有毒、有害或其他不良内容的文档或标记(Llama Team,2024; Qwen Team,2025)。最近的研究进一步探索了此类方法用于抑制更高级的不良能力，例如那些可能导致生物风险的能力(O’Brienet al.,2026; Rathi and Radford,2026; Chenet al.,2025)。另一种替代方法是**数据重写**，它并非完全移除不安全数据，而是使用对齐模型将其重写为更安全的形式(Mainiet al.,2025; Samet al.,2026; Jianget al.,2025)。这保留了有助于模型更好地区分安全行为与不安全行为的信息(Liet al.,2025)。虽然有效，但数据过滤和数据重写主要都将预训练对齐视为控制模型所学内容的问题。推向其理想极限，这一方向的工作旨在构建一个完全不包含不安全数据的预训练语料库。

**但这对于预训练对齐来说足够吗？**

请参阅标题

图 1: **安全反思预训练**概览。顶部一行和左下角的示例展示了我们在预训练语料库上的数据流水线：我们将每个文本分割成片段，并在每个片段之后插入一个简短的安全反思，从而使模型学会定期判断其生成内容的安全性。右下角的柱状图展示了SRP相对于标准预训练的攻击成功率，SRP在每项指标上都表现最好。*GCG*是两个基准测试的平均攻击成功率；*良性*表示良性微调，*对抗*表示对抗微调。

##### 数据过滤与重写的局限性。

在本文中，我们论证了深度安全对齐需要的不仅仅是使数据安全。为使这一观点具体化，我们引入了一个完全受控的合成环境**MedSafetyWorld**，其中包含清晰的安全定义以及涉及安全和不安全结果的推理结构。在这种设定下，一些用户向语言模型咨询正常的医疗建议，而另一些用户则询问如何滥用特定化合物来伤害他人。我们证明，即使仅接受关于正常医学知识和查询的安全数据训练，语言模型仍然可能通过泛化获得回应有害查询的能力，并且这些能力很容易通过推理阶段和微调攻击被激发出来。参见第3节。这种失败模式表明，即使预训练数据完全安全，语言模型也能从其预训练数据中进行推理、组合和泛化，从而产生不安全行为。一般来说，这种泛化可能潜伏在模型的参数中，难以检测或预测，正如先前观察到的狭窄微调可能意外诱发有害行为(Qiet al.,2024; Heet al.,2024; Betleyet al.,2026; Draganovet al.,2026)。

##### 安全反思预训练。

尽管模型泛化的确切形式难以预测，但这种泛化最终必须根植于模型在预训练期间内化的内容。因此，我们提出**安全反思预训练**：并非仅仅过滤或重写预训练语料库，而是将安全反思定期插入预训练文本中。在这里，安全反思是对前面文本片段安全性的简短判断。具体来说，我们将预训练语料库分割成几百个token的片段。在每个片段之后，我们使用安全分类器生成并插入一个反思，该反思由一个裁决token“安全”或“不安全”以及一个指定不安全行为类型的类别token组成。参见第4节。

SRP的好处有两方面：

- **首先**，使模型暴露于多样化的预训练上下文中的安全反思，拓宽了其对安全与不安全的覆盖范围。虽然在后训练或推理阶段对齐中添加某种形式的反思的想法也已被探索(Wanget al.,2024; Zhanget al.,2025; Phanet al.,2025)，但将此想法应用于预训练会改变语言模型在学习建模语言时反复练习的内容。与此目标一致，我们在FineWeb-Edu上预训练的1.7B模型在安全和不安全示例上的安全分类都优于仅使用后训练对齐训练的模型。
- **更重要的是**，使安全反思成为语言建模的一部分，鼓励模型内化一种自我监控形式，以便在其生成变得不安全时能够识别并自行停止。结合兼容的后训练设计（该设计与类似的安全反思格式对齐数据），SRP在保持通用能力的同时，显著降低了推理时和微调攻击下的攻击成功率。我们在FineWeb-Edu上的预训练实验中证明了这一点，而**MedSafetyWorld**上的额外结果表明，SRP成功地防止了模型根据从安全数据泛化出的不安全行为采取行动，而仅靠数据过滤和重写则无法实现。第3节和第5节展示了我们的合成和真实世界实验结果，包括与数据过滤和重写基线的比较。在第6节中，我们提供了详细的消融研究，以理解SRP在后训练对齐之外的益处。

我们进一步强调，作为预训练对齐的标准，SRP并非旨在取代后训练，而是建立一种与之互补的基础能力。我们的消融研究表明，当后训练与SRP兼容（而非以任意方式进行）时，SRP效果最佳：在后训练数据中保持相同安全反思格式，使模型在推理时仍能执行反思。更广泛地说，反思格式需要在预训练和后训练中保持一致，从任一阶段移除它都会降低模型的安全反思性能。

总体而言，我们的结果表明，除了使训练数据安全之外，预训练阶段的对齐还可以旨在诱导增强安全防护栏的原生模型行为。我们的工作朝着这个方向迈出了第一步，并鼓励未来的工作进一步探索超越数据过滤和重写的预训练阶段对齐技术。

## 2 相关工作

##### 预训练阶段对齐。

除了上述讨论的数据过滤和重写方法外，其他方法也被提出用于预训练阶段对齐。Yuanet al. (2025)和Tanet al. (2026)利用与安全相关的奖励进行强化学习，训练模型生成安全续写。Ticeet al. (2026)表明，对关于对齐AI系统的正面话语进行上采样，可以诱导更对齐的行为先验，并显著减少结果模型中的失调行为。这些方法与我们的方法互补，可以在同一预训练流程中自然结合。

##### 后训练与推理中的安全反思。

最近的工作探索了语言模型检测自身不安全生成并从中恢复的机制。Zhanget al. (2025)提出了生成时回溯，模型通过SFT或DPO训练，在检测到有害内容时发出特殊的\[RESET\] token，丢弃当前输出并触发重新生成。Selet al. (2025)通过允许模型回退到安全的中间前缀（而非丢弃整个响应）来完善这一想法，这能更好地处理局部安全违规，例如在良性生成中出现的毒性。另一种互补的方法是让模型明确判断自己的输出：Wanget al. (2024)微调模型，使其在每个响应后附加一个安全标签或，将模型本身重新用作内容过滤器，而Phanet al. (2025)则无需额外训练，通过在推理时定期注入自省提示来评估并在必要时重新生成不安全的中间输出。与此相关，特殊token也被用于校准拒绝行为而非反思安全性：Jainet al. (2025)和Alagharuet al. (2026)训练模型生成拒绝token，其概率可在推理时进行引导以实现精细的拒绝控制。所有这些方法都在预训练之后运行，无论是通过后训练还是推理时干预。

##### 与SafeLM的比较。

SafeLM (Mainiet al., 2025)引入了多种以数据为中心的预训练阶段对齐方法。其中，带危害性标签的预训练与我们的方法最为相关，因为它也在预训练语料库中插入安全标签。然而，SafeLM不涉及定期的安全反思。它将与安全相关的标签插入到不安全的预训练数据中，但这些标签是随机放置的。这意味着标签可能出现在其所标记的不安全内容之前，而不是作为前面片段的判断。因此，SafeLM依赖于修改后的推理过程：其标签机制旨在与调整后的推理算法SafeBeam配合使用，没有该算法则效果大打折扣。相比之下，我们的方法以固定间隔插入反思，每个反思都是对紧邻的前一个文本片段的安全判断。这训练了模型执行安全反思，并使该方法在标准解码算法下仍然有效。

##### 预训练数据干预。

超越特定于安全对齐的范畴，更广泛的工作线表明，对预训练数据的干预可以通过一系列技术显著影响下游能力，例如数据过滤与去重(allalet al., 2025; Penedoet al., 2024)、合成重写(Eldan and Li, 2023; Mainiet al., 2024)，以及用特定结构重新表述和增强原始文档(Ruanet al., 2025; Kimet al., 2026)，例如在原始文本片段之间插入潜在思考。这些方法共享一个直觉：预训练不仅取决于语料中存在哪些信息，还取决于这些信息如何被组织和呈现给模型。我们的工作与这一研究方向一致。具体来说，我们通过将片段级别