model-safety

对三个8B Llama 3变体（Hermes、Dolphin、Llama-Instruct）使用271示例课程进行微调的初步结果显示，拒绝和不确定性表达发生了显著变化，表明教授真实拒绝价值观比服从训练更有效。

作者使用强化学习训练Qwen3.5自我越狱，通过多样性奖励暴露多种攻击策略，随后将防御方的鲁棒性从64%提升至92%，同时良性准确率略有下降。

OpenAI 研究表明，通过在针对特定行为价值观的小型精选数据集（<100 个示例）上进行微调，可以显著改进语言模型的行为，且效果随着模型规模增大而提高。该方法为用户提供了工具，以便根据特定应用调整模型以符合《宪章》的价值观。