论文页面 - Constitutional Midtraining：内容存在驱动对齐收益

Source: https://huggingface.co/papers/2607.26654

摘要

训练后对齐往往很浅，在微调下会被侵蚀。中期训练干预（与训练后阶段明确分离）能否产生持久的对齐，仍未得到验证。我们通过宪法式中期训练（constitutional midtraining）对此进行测试：在120B规模下，将基于原则、价值观的内容插入中期训练，并以仅重放（replay-only）作为对照。我们的394M-token 宪法语料库基于 Anthropic 的《宪法》（Constitution）构建，采用 2×2 因子设计（课程顺序 × 审慎推理），产生四个宪法式中期训练条件和一个对照组，并在三个阶段（中期训练后、SFT后、良性微调后）使用自生成基准和既有基准进行评估，包括压力下的对齐、价值冲突解决、勒索和涌现性错位。宪法式中期训练模型在对齐泛化性和持久性上优于对照组，尤其是在勒索方面：SFT 在所有模型中都会诱发勒索倾向，但宪法式中期训练能削弱这种倾向，且该优势在良性微调后依然存在（-17.5 个百分点）。这种持久性并不扩展到需要主动抵抗上下文压力或冲突的场景，在这类场景中优势在 SFT 后减弱。在中期训练阶段，宪法内容的存在比其结构更重要；并且在我们测试的能力（MMLU、ARC-Easy、piqa、GSM8K）上，宪法式中期训练在任意阶段平均都不产生额外成本。因此，在中期训练中加入适量宪法内容可能带来广泛而持久的对齐收益，为以 SFT 为中心的流水线提供一种廉价、互补的补充。代码、数据和模型均已开源。

查看arXiv页面 查看PDF 项目页面 GitHub2 添加到收藏

让您的 agent 获取此论文：

hf papers read 2607\.26654

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型1

peterstran/nemotron-super-120b-cc-mt-graft-currdr-on-baseline-sft 121B• 更新于约2小时前 (https://huggingface.co/peterstran/nemotron-super-120b-cc-mt-graft-currdr-on-baseline-sft)

引用此论文的数据集1

cho-ai/constitutional-mt-data Viewer• 更新于3天前 • 2.35M • 192 • 2 (https://huggingface.co/datasets/cho-ai/constitutional-mt-data)

引用此论文的Spaces0

没有链接此论文的Space

在Space的README.md中引用 arxiv.org/abs/2607.26654，即可从本页面链接到该论文。

包含此论文的合集0

没有包含此论文的合集

将此论文添加到合集 (https://huggingface.co/new-collection) 即可从本页面链接到它。