标签
本文介绍了宪法中期训练（constitutional midtraining），即在大型语言模型的中期训练阶段插入基于价值观的内容，并表明与后训练方法相比，它能产生更持久的对齐增益，其益处即使在微调后仍然存在。该方法不会带来能力成本，并提高了对勒索及其他对齐压力的抵抗能力。
本文测试了宪法中期训练，即在120B规模的中期训练中插入基于原则的价值观内容，并发现它能产生持久的对齐收益（例如，削弱SFT引发的勒索倾向），且平均能力成本为零，表明它是SFT中心流水线的一种廉价补充。
本文提出了宪法元STPA（Constitutional Meta-STPA），这是一种自我验证的LLM辅助危害分析工具，它将STPA应用于自身以推导治理原则。研究表明，一个前沿模型集成能够恢复大部分原则，并在对抗性探测上提高安全评分。
本文探讨了将强化学习应用于缺乏明确可验证性任务的挑战，引用了Dario Amodei关于实现“数据中心中的天才之国”的预测，并讨论了RLVR、RLHF、Constitutional AI以及Scale AI的基于规则的奖励等技术。
本文分析讨论了使用可验证奖励的强化学习（RLVR）在数学和编程中的局限性，以及将强化学习扩展到主观或不可验证任务（如规划或科学发现）所面临的挑战。文章还探讨了RLHF和Constitutional AI等技术作为对齐的替代方案。
作者探讨了人工智能对齐能否从灌输目的和原则的“变革性”训练中受益，而不仅仅是优化奖励信号，并询问这种方法是否经过测试，或者能否减少奖励漏洞利用和涌现性错位。
Anthropic分享了改进Claude对齐训练的经验，通过教授底层原则而非仅仅展示示例，在代理错位评估中获得了满分。