标签
OpenAI 介绍了其积极采用并不断改进的 10 项安全实践，包括实证红队测试、对齐研究、滥用监控以及在首尔 AI 峰会上分享的自愿承诺。该公司强调采用均衡、科学的安全方法，将其融入开发的各个环节。
# 介绍 Model Spec 来源: [https://openai.com/index/introducing-the-model-spec/](https://openai.com/index/introducing-the-model-spec/) OpenAI***2025年2月12日更新****：我们发布了 Model Spec 的更新版本。此次更新进一步强化了我们对可定制性、透明度和智力自由的承诺，允许用户自由地探索、辩论和使用 AI 进行创作，不受任意限制——同时确保保护措施仍然到位，以降低真实伤害的风险。该更新也建立在
OpenAI宣布推出Superalignment Fast Grants计划，资助研究如何对齐超级智能AI系统的工作。该计划针对一个根本性挑战：人类如何才能控制和信任能力超过自身的AI系统。OpenAI认为超级智能可能在未来十年内出现，该倡议旨在召集顶尖研究人员解决这一关键技术问题。
OpenAI 展示了过程监督——对中间推理步骤而非仅对最终答案进行奖励——如何改进数学推理，同时降低对齐成本。这种方法在不牺牲模型性能的前提下，产生更易解释、更符合人类价值观的推理过程。
OpenAI 阐述了为 AGI 做准备的战略，强调通过真实世界反馈循环进行渐进式部署，随着系统接近 AGI 能力而提高谨慎程度，以及开发更好的对齐技术以确保 AI 系统保持可控和安全。
OpenAI 阐述了他们的对齐研究方法，强调了强化学习从人类反馈 (RLHF) 作为他们用于对齐已部署语言模型（如 InstructGPT）的主要技术。他们讨论了以最少计算量实现相比大 100 倍模型的显著偏好，但承认当前的局限性，并提出了一项长期战略，即利用 AI 系统来加速人类无法单独实现的对齐研究。
OpenAI 展示了一种可扩展的对齐技术，使用人工反馈进行整本书的分层摘要总结，展示了如何训练模型在复杂、难以评估的任务上按照人类意图行动。
OpenAI展示了一种通过在人类偏好上训练奖励模型并使用强化学习微调模型来改进语言模型总结的技术，实现了在数据集间具有良好泛化性能的显著质量提升。这项工作通过大规模人类反馈推进了模型对齐，并具有超越总结任务的应用前景。
OpenAI主张AI安全研究中的价值对齐需要社会科学家的帮助，以解决人类认知偏差和不一致如何影响用于训练AI系统的数据的问题。该组织提议通过仅涉及人类的实验方法来发现对齐问题，然后再部署机器学习解决方案。
OpenAI提出了一种新颖的AI安全方法，其中两个AI代理相互辩论，而人类评判员评估他们的论证，这使人类能够监督行为过于复杂而难以直接理解的AI系统。该方法利用辩论和对抗性推理来使先进AI与人类价值观和偏好保持一致。
OpenAI、伯克利和斯坦福的研究人员共同撰写了一篇基础性论文，指出了现代AI系统中的五个具体安全问题：安全探索、对分布偏移的鲁棒性、避免负面副作用、防止奖励黑客和可扩展的监督。
Anthropic分享了改进Claude对齐训练的经验，通过教授底层原则而非仅仅展示示例，在代理错位评估中获得了满分。
本文概述了Anthropic对齐团队的使命与研究重点，该团队通过评估、监督和压力测试等手段开发保障措施，以确保未来的AI系统始终保持有益、诚实和无害。